Как обработать большой текстовый файл - 1Гб?

[Dimon111]

Нужно выделить в логе (текстовый файл) размером 1-2Гб первый столбец и записать его в другой файл. Но даже простой цикл последовательного чтения строк в одну и ту же переменную вешает процесс на неизвестное время. Второй час висит - не уверен что получится.

[Хакер]

Оптимизировать. И помнить, что мир шире, чем Line input.

[Dimon111]

Намекните - как?

[Хакер]

Что "как"?

[Dimon111]

Как оптимизаровать?

[Хакер]

Как я могу ответить, как улучшить код, если я даже не видел код.

[Dimon111]

Понял. Пришлось прекратить э экперимент. Код весьма прост - оцениваю способен ли VB вообще открыть такой файл.

Код: Выделить всё

Private Sub Form_Load()                                 '
Dim tmp As String
Open "data_20051210_1809.y.dat" For Input As #1

While Not EOF(1)
   Line Input #1, tmp
Wend
Close
End
End Sub                       

[Хакер]

Нда.
Короче, критерии колонки в студию.

[Dimon111]

Нужна первая колонка с 6-го по 11-й символ.

+228 +654 +101 26.315 996005.00 2531.493 0.0899044 0.000

[Хакер]

А теперь критерии колонки нормально: признак начала колонки и признак конца. И умудрись нормально объяснить это с первого раза.

[Dimon111]

Видимо да. Начинается строка с 5 пробелов. Далее нужное число с 6-го по 11-й символ. Далее ненужная часть строки. Длина всей строки одинаковая - 76символов. Строка стандартно заканчивается CrLf.

Должен сказать, что при малдом (1Мб) размере все работает нормально. Т.е. процесс завершается быстро. При 1ГБ - не долждался за 2 часа.

Возможно опять получится коряво, но приведу:

[list=] -644 -2661 +97 -26.316 996005.00 2531.493 0.0898970 0.000
+490 -2977 +78 -26.316 996005.00 2531.493 0.0898959 0.000
+223 -724 +54 -26.316 996005.00 2531.493 0.0898949 0.000
[/list]

[Хакер]

Далее нужное число с 6-го по 11-й символ

Всегда?

Длина всей строки одинаковая - 76символов.

Всегда? От начала до конца? Включая CrLf?

[Dimon111]

Да, структура всех строк одинакова. Соответствено в каждой строке нужен с 6-го по 11 символ.

[Хакер]

Тогда зачем тебе String-переменные?

[Dimon111]

Для line Input. Вы предлагаете работать с файлом как с бинарным?

[Хакер]

Как минимум.

[Dimon111]

Взялся с оптимизмом идиота, но запутался в адресации. Если не получится будет обидно...

[Dimon111]

ОК. Вначале так:

Код: Выделить всё

Private Sub Form_Load()                                 '
Dim I tmp As Byte

Open "data_20051210_1809.y.dat" For Binary As #1 
While Not EOF(1)
   Get #1, , tmp
Wend
Close
End
End Sub                                                 '


Ждем окончания...

[Хакер]

Чудовищная дрянь. Так будет ещё медленнее.

[alibek]

1. Сдвиг +5
2. Считать данные в байтовый массив размером 6 байт
3. Сдвиг +67
4. Повторить с п.2 до конца файла

[Joo]

При 1ГБ - не долждался за 2 часа.

Нифига себе, я в 500, метровом файле, порядка 8 миллионов строк, дубликаты строк отсеивал, у меня не очень сильная машина, но за 5 минут укладывался.

[Mikle]

alibek
А задать структуру сразу на 76 байт ещё лучше. При размере читаемого фрагмента меньше кластера диска, размер читаемого фрагмента практически не влияет на скорость.

Код: Выделить всё

type myType
  a(4) as byte
  b(5) as byte
  c(66) as byte
end type

А ещё лучше создать массив таких структур, штук на 1000, и читать его весь.

[Dimon111]

Спасибо ответившим. Надо сказать, что вариант c Line Input завершился с ошибкой через 2 дня. Вариант с Get #1 завершается через 40 минут, что меня в принципе устранивает, но выделить первую колонку так и не получается потому что в файле всетаки присутствуют строки длиной на один байт меньше.

Хотел привезаться к маркерам 12, 13 но пока не получается.

[Денис]

А если засунуть файл в Excel? Но только версия не ниже 2007-го. А потом нужный столбец вставить в новый документ и сохранить как текст.

[Dimon111]

У меня он сечас 4Гб занимает. Засунул. Excel заткнутся. Думаю навсегда.

[Sirik]

если файлик статический, то мб лучше его перегнать в БД? все операции будут происходить почти мгновенно

[Dimon111]

Если можно - хоть в двух словах или ключевое слово для поиска. А то чувствую, что для VB эта задача не по зубам.

[Хакер]

Ерунду говоришь. Это для тебя эта задача не по зубам.

[Dimon111]

И здесь Вы тоже правы...

[alex77755]

Попробовал и я создать и обработать такой файл. Размер получился 1 554 058 350
Наверно неправильній код. Как я понял: нужно первый столбец выдернуть в отдельній файл

Код: Выделить всё

Private Sub Комманда1_Click()
Dim a, b, c, d, e, f, g, h As String
Dim i
Dim fso, s ' просто чио б узнать размер файла
  Set fso = CreateObject("Scripting.FileSystemObject")
  Set f = fso.GetFile("C:\22.txt")
  s = f.Name & " занимает " & f.Size & " байт"
    Debug.Print s
    Debug.Print " Начало работы    " & Time
  Set f = Nothing
  Set fso = Nothing
Open "C:\22.txt" For Input As 1
Open "C:\2.txt" For Append As 2
Debug.Print
Do While Not EOF(1)
Input #1, a, b, c, d, e, f, g, h
'Debug.Print a, b, c, d, e, f, g, h
Print #2, a
i = i + 1
DoEvents
Loop
Close #2
Close #1
  Debug.Print
  Debug.Print " обработано строк    " & i
  Set fso = CreateObject("Scripting.FileSystemObject")
  Set f = fso.GetFile("C:\2.txt")
  s = f.Name & " занимает " & f.Size & " байт"
  Debug.Print s
  Debug.Print
  Debug.Print " Конец  работы    " & Time
   Set f = Nothing
  Set fso = Nothing
End Sub

в дебаггере напечатано:

22.txt занимает 1554058350 байт
Начало работы 14:12:58


обработано строк 24190660
2.txt занимает 169334620 байт

Конец работы 14:16:20