WebBrowser и картинки

[$Yastrebov$]

Задача: Необходимо вывести около 20 найденных по запросу картинок и сохранить на диск 1 выбранную по клику картинку.
Вопрос: Как организовать поиск картинок, распарсивание ссылок и что использовать как контейнер (по которому будет клик)? Как сохранить я уже знаю.

Как решал задачу: Использовал WebBrowser. Посмотрел принцип построения запроса на Яндекс.Картинки. Выполнил переход в WebBrowser по ссылке вида:
http://images.yandex.ua/yandsearch?..., хотел парсить через

Код: Выделить всё

Webbrowser.Document.images

, но в Яндексе отображаются маленьки копии картинок без ссылки на оригинал. Ссылка вида: http://im2-tub.yandex.net/i?id=142330008&tov=2 не является ссылкой на картинку (*.jpg,*.gif)

[Денис]

Почему же не является? В ответ на этот адрес, сервер яндекса возвращает картинку? Возвращает. Значит является? Является. Или я недопонял?

[$Yastrebov$]

Да, не совсем корректно сформулировал.

По ссылке маленькая копия оригинальной картинки с какого-то другого сервера. Нужно получить ссылку на оригинальную картинку, а не на ее маленькую копию, с минимальным количеством запросов. И вывести 20 таких аналогичных картинок (распарсив найденное Яндексом) в какие-то контейнеры вроде PictureBox(image)

[Antonariy]

Вопрос: Как организовать поиск картинок, распарсивание ссылок и что использовать как контейнер (по которому будет клик)? Как сохранить я уже знаю.

Не использовать WebBrowser, использовать XMLHTTP. Для парсинга использовать регулярные выражения. Из ответа на поисковый запрос вытаскивать ссылки на уменьшенные картинки, скачивать картинки и ссылки на оригинал, отображать на форме. Если картинка подходит, из соответствующего адреса оригинала скачать оригинальную картинку.
Это самый быстродействующий и экономный в плане траффика способ. Количество запросов к яндексу для получения всех необходимых данных от вашего желания не зависит.

[$Yastrebov$]

Antonariy, вначале сделал все с помощью WebBrowser. Все работает, но скорость обработки запросов хочется увеличить. Решил воспользоваться твоим советом по XmlHttp, но получил ошибку "Отказано в доступе". Хотя с запросом Google, XmlHttp успешно справляется и также успешно все оттуда парсится. Не подскажешь в чем подвох?

Код: Выделить всё

Dim XmlHttp1 As Object
Set XmlHttp1 = CreateObject("Microsoft.XmlHttp")
XmlHttp1.Open "GET", "http://images.yandex.ua/yandsearch?text=" + Text1.Text + "&isize=medium&rpt=image", False
XmlHttp1.Send 'Тут ошибка

[alibek]

Возможно, Яндекс не любит личеров и блокирует их.

[$Yastrebov$]

Значит обойти эту ошибку нельзя? Вернуться к использованию медленного WebBrowser?

[iGrok]

У меня этот вариант выдаёт рандомные ошибки на рандомных сайтах.
Аналогичные запросы через WinHTTPRequest работают без проблем.

Видимо, не в яндексе дело.

[$Yastrebov$]

iGrok, спасибо! Ваш совет с WinHttpRequest работает.

Но как-то помедленнее чем Microsoft.XmlHttp обрабатывает Google. Непонятно тогда в чем некорректность приведенного выше кода, который при каком-то запросе работает, а при каком-то нет?!

[$Yastrebov$]

Самое интересное, что запрос вида:

Код: Выделить всё

Dim XmlHttp1 As New WinHttpRequest
XmlHttp1.Open "GET", "http://www.google.com/images?imgsz=m&as_q=" + Text1.Text, False
XmlHttp1.Send

Возвращает XmlHttp1.Status=403

Хотя при использовании Microsoft.XmlHttp (из первого моего примера) все отлично работает

[iGrok]

Код: Выделить всё

Dim XmlHttp1 As New WinHttpRequest
XmlHttp1.Open "GET", "http://www.google.com/images?imgsz=m&as_q=pontiac", False

XmlHttp1.SetRequestHeader "User-Agent", "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.1.7) Gecko/20091221 Firefox/3.5.7"

XmlHttp1.Send


Ну или ещё чего-нибудь в этом духе.

UPD:
Да даже:
XmlHttp1.SetRequestHeader "User-Agent", "Picture Searcher/1.0"

[$Yastrebov$]

iGrok, отлично! Все работает под WinHttpRequest

Только вот при варианте с Яндексом вылазит вот такое вот предупреждение (рис.1). Его бы как-то запретить. Что-то вроде как в WebBrowser.Silent = True

[iGrok]

0_o
Яндекс что-то перемудрил, похоже..

Думаю, можно поэкспериментировать с xmlhttp1.Option(...).
Их там много, может что-то и поможет.

UPD: А после чего оно вылезает?

[$Yastrebov$]

Обнаружил, что ошибку выдает не WinHttpRequest, а HTMLDocument, при записи:
HTMLDocument.Write XmlHttp1.ResponseText

Можно конечно переделать все на WinHttpRequest + Регулярные выражения, но мне больше нравится работать через DOM. Ну и к тому же код изначально писался именно для DOM к WebBrowser.

Я вот думаю, может для открытия страницы использовать HTMLDocument полностью?

Код: Выделить всё

Dim XmlHttp1 as New HTMLDocument
XmlHttp1.open...

Или такой вариант менее рационален для этой задачи?

[djalex777]

Вместо Write используй Body.InnerHtml. Для чего ты используешь DOM? Для изъятия "<img src = "? Если да, то лучше вручную парсить.

[$Yastrebov$]

Ну вообще я использовал с помощью DOM циклы:

Код: Выделить всё

For Each elem In XmlHttp1.images

и

Код: Выделить всё

For Each elem In XmlHttp1.links

Так я обходил каждую маленькую картинку и парсил из нее ссылку на картинку в оригинальном размере (для Google)
и обходил каждый линк в Yandex и проверял его на свое условие для той же цели.

[$Yastrebov$]

Кто подскажет почему не срабатывает такое регулярное выражение: "img_{0,1}url=.+\.jpe{0,1}g?&"
Для текста, в котором есть строки:

http://images.google.com.ua/imgres?imgurl=http://slide.shop.by/pics/items/Nokia%25205800%2520XpressMusic-2.jpg&imgrefurl=http://slide.shop.by/133/&usg=__xp5hMiqHaxBI-bxrs7NvPIa53Ho=&h=300&w=400&sz=25&hl=ru&start=2&tbnid=rh-S6wrH2nbtRM:&tbnh=93&tbnw=124&prev=/images%3Fq%3Dnokia%2B5800%26gbv%3D2%26hl%3Dru%26sa%3DG

http://images.google.com.ua/imgres?imgurl=http://www.cyberstyle.ru/images2external/misc/Image/news/Portable_electronics_mobiles/271008/nokia-5800-ofc-05.jpg.jpg&imgrefurl=http://www.cyberstyle.ru/newsline/view/3899/Nokia-Nokia_5800_XpressMusic-Carl_Zeiss-Nokia_Maps-iPhone-.html&usg=__A504HirkG0xA47LBCYM06ziG9Z4=&h=800&w=525&sz=50&hl=ru&start=3&tbnid=zyEuIBVJv1ZKHM:&tbnh=143&tbnw=94&prev=/images%3Fq%3Dnokia%2B5800%26gbv%3D2%26hl%3Dru%26sa%3DG

http://images.google.com.ua/imgres?imgurl=http://www.itechnews.net/wp-content/uploads/2008/04/nokia-5800-tube-iphone-killer.jpg&imgrefurl=http://webtele.com.ua/mobiles/nokia-5800-zavtra&usg=__SYjp0-Ln6nokMdzVwQzyd1UTbX0=&h=500&w=300&sz=32&hl=ru&start=4&tbnid=_2IQutp4HaApAM:&tbnh=130&tbnw=78&prev=/images%3Fq%3Dnokia%2B5800%26gbv%3D2%26hl%3Dru%26sa%3DG

http://images.yandex.ua/search?p=0&ed=1&text=Nokia%205800&spsite=fake-008-1675843.ru&img_url=images04.olx.ru%2Fui%2F1%2F71%2F23%2F42296823_3.jpg&rpt=simage

http://images.yandex.ua/search?p=3&ed=1&text=Nokia%205800&spsite=fake-031-1312559.ru&img_url=www.cyberstyle.ru%2Fimages2external%2Fmisc%2FImage%2Fnews%2FPortable_electronics_mobiles%2F161208%2Fnokia5800xpressmusic_1.jpg.jpg&rpt=simage

http://images.yandex.ua/search?p=10&ed=1&text=Nokia%205800&spsite=fake-029-103411.ru&img_url=mobilnik.ua%2Fimages%2Fnews%2Fbig%2Fnokia_tube1.jpg&rpt=simage

из такого кода:

Код: Выделить всё

Dim myRegExp As New RegExp
    myRegExp.MultiLine = True
    myRegExp.Global = True
    myRegExp.IgnoreCase = True
    myRegExp.Pattern = "img_{0,1}url=.+\.jpe{0,1}g?&"
   
    Dim aMatch As Match
    Dim colMatches As MatchCollection
    Dim testString As String
   
    testString = XmlHttp1.ResponseText ' Тут передается HTML-страница
   
    Set colMatches = myRegExp.Execute(testString)
   
    For Each aMatch In colMatches
       MsgBox aMatch.Value
    Next aMatch

[Antonariy]

У меня срабатывает, из первой строчки извлекает imgurl=http://slide.shop.by/pics/items/Nokia%25205800%2520XpressMusic-2.jpg&
Однако, видимо нужен сам урл, поэтому паттерн лучше сделать такой: "img_{0,1}url=(.+\.jpe{0,1}g?)&", а значение искать в aMatch.SubMatches(0)

[$Yastrebov$]

Похоже дело все таки не в Рег.Выр., а в том, что XmlHttp1.ResponseText не возвращает HTML страницу по моему запросу (пример выше). Он возвращает но либо ее часть, либо что-то левое вообще... По каким причинам такое может быть?

[djalex777]

ResponseBody

[Antonariy]

Похоже дело все таки не в Рег.Выр., а в том, что XmlHttp1.ResponseText не возвращает HTML страницу по моему запросу (пример выше). Он возвращает но либо ее часть, либо что-то левое вообще... По каким причинам такое может быть?

Нужен текст ответа, обычно он содержит причину, обычно она 404 из-за невнимательности.

[alexs37]

Здравствуйте. Подскажите, как сохранить рисунок (IMG) с web страницы или скопировать в буфер обмена как растровое изображение (*.ВМР).

Код: Выделить всё

Set Elements = WebBrowser1.document.getElementsByTagName(IMG)
Elements(1). ‘ а дальше не знаю что писать.

Побывал разные вариации с Elements типа Copy save и тому подобное, но без успеха.
Смотрел здесь http://wdh.suncloud.ru/html06.htm#eimg разные свойства элемент IMG но не чего не смог придумать.
А здесь http://wdh.suncloud.ru/dhtml08.htm описан Интерфейс HTMLImageElement соответствует элементу IMG но все равно не смог разобраться, или может вообще не в ту сторону подался?

[FireFenix]

Код: Выделить всё

Set Elements = WebBrowser1.document.getElementsByTagName(IMG)
Dim URL as Strin = Elements(1).src

'Получаем картинку по ссылке URL
'...

[alexs37]

Спасибо, но этот вариант я уже расматривал, но при этом получается повторный запрос к серверу и удвоенный трафик.
А картинка уже есть на жестком в папке Temporary Internet Files с тем самым URL. Можно как-то через index.dat и известный URL достать файл из кеша? И потом, при правом клике на картинку, в контекстном меню есть команда «сохранить рисунок как…», может быть можно как-то дотянуться до этой команды?