Получить HTML код с невидимого WebBrowser (IE7)

[Mihail_]

Здравствуйте, нужно получить html код страницы с помощью контрола WebBrowser, причем чтобы он был невидимым.
Проблема заключается в том, что невидимый контрол не генерит событие WebBrowser1_DocumentComplete, а при использования цикла с проверкой READYSTATE вызывает ошибку Automation error.. Подскажите, есть ли человеческие способы это обойти, не делая размер контрола 1х1 пиксел и т.д.?
Заранее спасибо!

[MIT]

не делая размер контрола 1х1 пиксел

Задвинуть на позицию (-500; -500)

[dr.MIG]

Другого способа кроме предложенных неизвестно, однако возникает вопрос о конечной цели -- для чего планируется использовать невидимый WebBrowser, что надо сделать?

[RayShade]

Сделать ему zorder=-1 и положить под какой нибудь groupbox или чего то типа.

[Mihail_]

ну я пока и положил его с минимальным размером под кнопку, но это ж через задницу..

И можно ли вообще реализовать получение html кода в одной функции?
Я пробовал в цикле Do While WebBrowser1.ReadyState <> READYSTATE_COMPLETE вместо DoEvents использовать sleep, но тогда функция тупо зависает, не передавая управление WebBrowser1_DocumentComplete

dr.MIG приходиться реализовывать именно так из-за этой темы, на сайт, с которого грабится информация поставили защиту (как минимум кукис) и простые функции получения кода теперь не работают.. а ie проходит все проверки

[RayShade]

Достаточно просто повесить нужный тебе код в WebBrowser1_DocumentComplete, и не надо никаких циклов с Do While WebBrowser1.ReadyState <> READYSTATE_COMPLETE.

Механика такова - ты вызвал Navigate, WB пошел грузит страницу. Все - не надо ничего ждать. Когда он ее получит, будет событие и вызовется его обработчик.

[dr.MIG]

Достаточно просто повесить нужный тебе код в WebBrowser1_DocumentComplete, и не надо никаких циклов с Do While WebBrowser1.ReadyState <> READYSTATE_COMPLETE.

Механика такова - ты вызвал Navigate, WB пошел грузит страницу. Все - не надо ничего ждать. Когда он ее получит, будет событие и вызовется его обработчик.

Ничего подобного, надо ждать и именно в цикле. Код в событии DocumentComplete в зависимости от конкретной страницы, загружаемой в него, может выполниться произвольное количество раз. Причем первое событие произойдёт необязательно на READYSTATE_COMPLETE.

Mihail_, я так и не понял, зачем тебе событие DocumentComplete? Код который должен находиться у тебя там может быть спокойно размещен сразу за циклом с DoEvents.

[Amed]

dr.MIG, надо делать так, как Рей говорит.

Но в событии DocumentComplete() надо первым делом проверить состояние документа:

Код: Выделить всё

If WebBrowser1.ReadyState = READYSTATE_COMPLETE Then ' документ загружен полностью

[dr.MIG]

И тогда вдобавок надо будет устанавливать флаг выполнения кода. Потому что этот READYSTATE_COMPLETE может произойти несколько раз.

[Amed]

И в каких же случаях это событие происходит более одного раза?

[dr.MIG]

Код: Выделить всё

Private Sub Form_Load()
    WebBrowser1.Navigate "http://yandex.ru"
End Sub

Private Sub WebBrowser1_DocumentComplete(ByVal pDisp As Object, URL As Variant)
    If WebBrowser1.ReadyState = READYSTATE_COMPLETE Then
        MsgBox "Ой..."
    End If
End Sub


[RayShade]

Так и где тут, ожидание в цикле?

[dr.MIG]

Так это как раз без цикла. Это пример, который просил Amed постом выше.

[VBTerminator]

Здравствуйте, нужно получить html код страницы с помощью контрола WebBrowser, причем чтобы он был невидимым/ ... Подскажите, есть ли человеческие способы это обойти, не делая размер контрола 1х1 пиксел и т.д.?

Есть. Юзать компонент Inet из библиотеки Microsoft Internet Transfer Control.

[dr.MIG]

Есть. Юзать компонент Inet из библиотеки Microsoft Internet Transfer Control.

Исходя из постановки вопроса не думаю, что автору нужно это. Если надо просто получить HTML-код, то тогда и Microsdoft WinHTTP Services использовать можно. Но тут автору скорее всего необходимо иметь невидимый WebBrowser с загруженной в него страницей, видимо для возможности мгновенно отобразить его без ожидания загрузки или ещё для чего...

[Amed]

dr.MIG, ну и все-таки уточню, что READYSTATE_COMPLETE происходит только один раз

[dr.MIG]

Ну значит у меня WebBrowser такой . Объясните тогда с точки зрения банальной эрудиции это:

[iGrok]

dr.MIG, ну и все-таки уточню, что READYSTATE_COMPLETE происходит только один раз

У кого как..

Код: Выделить всё

Option Explicit

Private Sub Form_Load()
    WebBrowser1.Navigate "http://yandex.ru"
End Sub

Private Sub WebBrowser1_DocumentComplete(ByVal pDisp As Object, URL As Variant)
    Debug.Print "WB_DC: " & WebBrowser1.ReadyState
    If WebBrowser1.ReadyState = READYSTATE_COMPLETE Then
        MsgBox "Îé..."
        Debug.Print "READYSTATE_COMPLETE"
    End If
End Sub


Код: Выделить всё

WB_DC: 3
WB_DC: 4
READYSTATE_COMPLETE
WB_DC: 4
READYSTATE_COMPLETE


[dr.MIG]

У кого как..

Что и требовалось доказать .

[Amed]

Я был неправ.
Намотал на ус и плюнул в кипу разработчикам WebBrowser. Подлецы!

[Mihail_]

Попытаюсь объяснить еще раз:

Нужно сделать функцию которая бы открывала заданную страницу и возвращала ее html код (который впоследствие будет сложно обработан другими функциями и помещать код обработки в DocumentComplete - не рационально), используя при этом элемент WebBrowser (т.к. другие способы, которые не поддерживают кукис например и т.д. блокируются сайтом) - это реально?

-
Функция DocumentComplete действительно будет вызываться несколько раз если на сайте грузятся всякие банеры и т.д., но у нее есть параметр URL, который можно сравнивать со своей url-кой, дело в другом.

Заранее спасибо!

[djalex777]

Можно использовать XmlHTTP или WinHTTP. Принимаешь cookies с помощью заголовка Set-Cookies и Set-Cookie2, а отправляешь с помощью Cookies

[Mihail_]

Спасибо! Будем надеиться что пока не забанят по UserAgent'у.. больно он палевный у WinHttp "Mozilla/4.0 (cоmpatible; Win32; WinHttp.WinHttpRequest.5)"

Для тех кто не в теме:

Project -> References -> Microsoft WinHTTP Services
C:\WINDOWS\system32\WINHTTP.dll

Код: Выделить всё

Dim http_req As New WinHttpRequest, results As String
http_req.Open "GET", "http://ya.ru/"
http_req.Send
     If http_req.Status = 200 Then
          results = http_req.ResponseText
          Clipboard.SetText results
          'Debug.Print results
          Beep
     End If

[Mihail_]

Можно использовать XmlHTTP или WinHTTP. Принимаешь cookies с помощью заголовка Set-Cookies и Set-Cookie2, а отправляешь с помощью Cookies

а можно по-подробнее про WinHTTP и Cookies?
Заранее спасибо!

[SSecurity]

вообще если исходить из того, что все это TCP-IP протокол.... так почему же не заюзать сокеты, туда какой хочешь можешь заголовок впихнуть а кукисы можешь записывать куда удобно ... - что самое полезное - ты получаешь чистый HTML код ...

[Mihail_]

ну сюда тоже можно заголовок воткнуть, полезная функция оказалась, но как быть с кукис?

-заголовок

Код: Выделить всё

Private Sub Form_Load()
Dim http_req As New WinHttpRequest, results As String
http_req.Open "GET", "http://lafox.net/utils/userinfo/"


http_req.SetRequestHeader "Accept-Language", "ru"
http_req.SetRequestHeader "Accept-Charset", "Windows-1251"
http_req.SetRequestHeader "Accept-Encoding", "gzip, deflate"

http_req.SetRequestHeader "Content-Language", "ru"
http_req.SetRequestHeader "Content-Charset", "Windows-1251"
http_req.SetRequestHeader "Content-Encoding", "gzip, deflate"
http_req.SetRequestHeader "Content-Type", "application/x-www-form-urlencoded; charset=Windows-1251"

http_req.SetRequestHeader "CACHE-CONTROL", "no-cache"
http_req.SetRequestHeader "CONNECTION", "Keep-Alive"
http_req.SetRequestHeader "USER-AGENT", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)"

http_req.Send
     If http_req.Status = 200 Then
          results = http_req.ResponseText
          'Clipboard.SetText results
          'Debug.Print results
          Beep
     End If
End Sub

[djalex777]

Так я же написал выше - для записи используется заголовок Cookie.
Т.е. применительно к твоему коду

Код: Выделить всё

...
http_req.SetRequestHeader "Cookie", "тут текст твоего Cookie"
...


[Mihail_]

Спасибо большое!

Только единственное, как показала практика - не все сервера соблюдают стандарты, чтобы именовать заголовки Set-Cookies, Set-Cookie2 и т.д. - поэтому надежнее получать весь вывод сервера а его уже парсить, пример кода:

Код: Выделить всё

Private Sub Form_Load()
Dim http_req As New WinHttpRequest, results As String
http_req.Open "GET", "http://ya.ru/"
http_req.Send

     If http_req.Status = 200 Then
          results = http_req.GetAllResponseHeaders
          Debug.Print results
          Beep
     End If
End Sub

На сервере, котором я тестил - заголовок выглядел так:
Server: HrenDogonish/0.9
Date: Tue, 31 Mar 2009 12:44:48 GMT
Connection: Close
Content-Type: text/html; charset=windows-1251
Expires: Sun, 30 Mar 2008 20:00:00 GMT
Pragma: no-cache
Cache-control: no-cache
P3P: policyref="/w3c/p3p.xml", CP="UNI"
Set-Cookie: phpbb2_data=[вырезано]; expires=Wed, 31 Mar 2010 12:44:47 GMT; path=/phpBB/; domain=[вырезано]
cache-control: private, pre-check=0, post-check=0, max-age=0
set-cookie: phpbb2_sid=[вырезано]; path=/phpBB/; domain=[вырезано]
pragma: no-cache

Передавать значения кукис надо через точку с запятой, тоесть http_req.SetRequestHeader "Cookie", "param1=value; param2=value" и т.д.

djalex777 еще раз спасибо, вы очень помогли!

[trash]

Я был неправ.
Намотал на ус и плюнул в кипу разработчикам WebBrowser. Подлецы!

Они не виноваты в, мягко скажем, недалекости отдельных пользователей. Намек:
Debug.Print "READYSTATE_COMPLETE", URL

[djalex777]

Они не виноваты в, мягко скажем, недалекости отдельных пользователей. Намек:
Debug.Print "READYSTATE_COMPLETE", URL

Ты видно не любишь читать полностью, что люди пишут...