Как получить все ссылки из Текстового файла?

[xenomorph]

Привет всем!

Давненько я не захаживал... .

Вопрос:

Помогите зимбабвийскому аборингену (мну) с парсингом тхт.

Проблема:

1. Есть файл - интернет страница сохранённая на диск.
2. В ней - миллиард ссылок (и больше).
3. Нужен алгоритм парсинга на наличие "http://.../".
4. Алго должен быть ОЧЕНЬ эффективеным и оптимизированым.

Я это и сам напишу за неделю .
Просьба за лень не пинать.

Меня интересует есть ли у кого ГОТОВЫЙ кусок кода.
За это скажу спасибо.

Я не от лени спрашиваю - так как если этот код писать самому прийдёться делать до 10 заходов но оптимизацию\тестирование.
Как минимум определить практически какой из алго работать будет лучше и быстрее ("окно", "регекспы" и т.п.). А задача-то стандартная.

Вот и спрашиваю может у кого-нить чёто завалялось.

Огромное спасибо заранее!

[Antonariy]

http://bbs.vbstreets.ru/viewtopic.php?t=23316

[xenomorph]

Попробую разабраться!

Смахивает на самое "ОНО".

Ищё раз Пасиб!

[SSecurity]

Код: Выделить всё

codeline = "0123456789ab...z@/#?&" ' короче все что возможно в ссылке
TEXT = LCASE(TEXT)
TMP = Split(TEXT, "http://")
For i = 0 to ubound(TMP)
   j = 0
   while instr(1,codeline, mid$(tmp(i),j+1,1))<>0 and (j<len(tmp(i)))
     j = j +  1
   wend
   link = left$(tmp(i),j)
Next i

[xenomorph]

2 SSecurity: Пасиб!
Я тут уже пошкодил:

Код: Выделить всё

Private Sub cmdCheck_Click()
    'LVars:
    Dim obj_Match As Match
    Dim obj_RegExpression As New RegExp
    Dim s_Data As String
    Dim i As Long
    s_Data = FTS("1.html", True)
    'Code:
    obj_RegExpression.IgnoreCase = True
    obj_RegExpression.Global = True
    obj_RegExpression.Pattern = "http://([\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)?"
    For Each obj_Match In obj_RegExpression.Execute(s_Data)
        Debug.Print obj_Match.Value
    Next
    txtMatchesFound = "MatchesFound: " & i
End Sub

Щаз буду выяснять чей код быстрее .
Заюзаю Ваш код если будет быстрее.

2Antonariy:

Посмотрел - класс! Но мне оно подходит на половину. Мне так же надо отлавливать ссылки которые линками не являються. То есть не только ХТМЛ. Всё равно спасибо!

[alibek]

SSecurity, а ты вопрос читал?
Что будет со Split, если ему гигабайт подсунуть?

[SSecurity]

2 alibek Будет весело ...
А вообще все зависит от того как он этот гигабайт считывать будет ...
если сразу запихнет в переменную - то конечно долго а если будет читать блоком например по 50000 байт + до след пробела ... то уже намного быстрее.