split() нужен аналог в 10-100 раз быстрее.

[xenomorph]

День добрый!

Задача - необходимо разделить текст 2,5 мб на слова в массиве.

Делал так:

Код: Выделить всё

Dim s_Text As String = "a b c... n"
Dim s_a() As String
a = Split(s_Text, " ")

Проблема - долго, очень долго:

split 2,5 мб английского плейн-текста - 47 секунд.

0,0212 мб split-иться в секунду. Это ОЧЕНЬ маленькая скорость...

Можно ли ускорить и если да то как?
--
Заранее спасибо!

[Williams]

Хотел посоветовать попробовать regex, но по-скольку имеешь дело всего-лишь с пробелом, может быть стоит заменить массив на коллекцию, загрузить файл целиком в память и нарезать слова читая бинарно?

[xenomorph]

Спасибо Williams!

Я нашёл в нете:
http://dotnetperls.com/Content/String-Split-Benchmark.aspx

Вот если кому надо:

В заголовок:

Код: Выделить всё

Imports System.Text.RegularExpressions

Код: Выделить всё

Public Sub split_fast(ByVal buf As String, ByRef s_array() As String)
    s_array = Regex.Split(buf, " ")
End Sub

2.5 Мб - 2.1 секунды. Уже намного быстрее!
Если этого не хватит - попробую нарезать из бинарика.

Свасибо!

[Nord777]

xenomorph String.Split работает примерно в 5 раз быстрее Regex.Split(со включенной опцией Compiled)
Просто ты использовал не ту функцию.
Это для твоего случая.
Dim s_Text As String = "a b c... n"
Dim s_a() As String
s_a = s_Text.Split(" "c)
Только запускать надо в Release и не из под студии(можно по Ctrl-F5)

[Williams]

Только запускать надо в Release и не из под студии(можно по Ctrl-F5)

Тоже важно. В релизе оптимизации включены по-умолчанию. Можно включить и в дебаге, но лучше этого делать не стоит.

Простой Split наверное из пространства совместимости VB?

[xenomorph]

2 Nord777 - огромное спасибо!
Отдельно замер производительности не делал, но буду.

На глаз самое то! Работает почти мнгновенно!