Как обработать большой текстовый файл - 1Гб?

[Dimon111]

Спасибо. Взял Ваш вариант. Адаптировал, запустил на файле 66МБ. 10 минут. Полет продолжается...

[alex77755]

Отчёт для большего файла:
22.txt занимает 4068577575 байт
Начало работы 14:40:45
обработано строк 63331970
2.txt занимает 443323790 байт
Конец работы 14:49:30

Проверка показала:

Код: Выделить всё

Open "C:\2.txt" For Input As 2
Do While Not EOF(1)
Input #2, AA
Debug.Print , AA
DoEvents
Loop
Close #2

490
-644
490
223
490
-644
490
223
490
-644
490
223
490
-644
490
223
Проверял в пошаговом режиме и дальше не стал

[Mikle]

в файле всетаки присутствуют строки длиной на один байт меньше.

Можно конкретнее?
А лучше - образец первых 100 кБ исходного файла.
Эта задача - на пару минут среднего компа (типа 2000 МГц)

[Dimon111]

+322 +1611 +112 -26.316 999999.00 2531.486 0.0942422 0.000
-2806 +2901 +137 -26.316 999999.00 2531.486 0.0942414 0.000
-4166 +1041 +155 -26.316 999999.00 2531.486 0.0942407 0.000
-1480 -2021 +167 26.315 999999.00 2531.486 0.0942400 0.000

Незнаю, видно ли - но последний на байт короче.

[alex77755]

Это от того, что в четвертом столбце не ставится знак(как в первом)

[Dimon111]

Совершено верно. Но это я уже не смогу исправить - так железка работает.

[alex77755]

66МБ. 10 минут. полёт продолжается.

4 068 577 575 байт Разве это не 4 Гбт ?
Начало 14:40:45 Конец работы 14:49:30 меньше 10 минут.
До сих пор в полёте?

[Dimon111]

Я наверно чего - то напортачил.

Мой вариант

Код: Выделить всё

Private Sub Form_Load()                                 '
Dim a, b, c, d, e, f, g, h As String
Dim i
Dim fso, s ' просто чио б узнать размер файла
  Set fso = CreateObject("Scripting.FileSystemObject")
  Set f = fso.GetFile("E:\Chunk-13.txt")
  s = f.Name & " занимает " & f.Size & " байт"
    Debug.Print s
    Debug.Print " Начало работы    " & Time
  Set f = Nothing
  Set fso = Nothing
Open "E:\Chunk-13.txt" For Input As 1
Open "E:\2.txt" For Append As 2
Debug.Print
Do While Not EOF(1)
Input #1, a, b, c, d, e, f, g, h
'Debug.Print a, b, c, d, e, f, g, h
Print #2, a
i = i + 1
DoEvents
Loop
Close #2
Close #1
  Debug.Print
  Debug.Print " обработано строк    " & i
  Set fso = CreateObject("Scripting.FileSystemObject")
  Set f = fso.GetFile("E:\2.txt")
  s = f.Name & " занимает " & f.Size & " байт"
  Debug.Print s
  Debug.Print
  Debug.Print " Конец  работы    " & Time
   Set f = Nothing
  Set fso = Nothing
End Sub

Через 25минут сформировал файл 2.txt размером 4 байта.

Черт, а ведь могло и получится! Сижу разбираюсь.

Туплю конкретно - не могу понять: Вы грузите первые 8 байт в цикле в переменые. А как, собствено, пропускается лишняя информация и грузятся следующие 8 байт с первой колонки?

Всеравно огромное спасибо. Возьму этот кусок кода за основу. Завтра доделаю.

[alex77755]

Я не гружу байты.Я считываю строку из 8 переменных, разделённых пробелами( это сама программа делает, а не я)
И потом добавляю в файл нужную мне "a". На стальные не обращаю внимания.
Если нужны другие - выбирайте любую "a, b, c, d, e, f, g, h" от динны числа не зависит.
Щас посмотрю ваш вариант.
Проверил - работает. Поменял только путь к источнику

[Dimon111]

Да, это я спутал. А как открыт файл #1? Как текстовый или бинарный?

Не знал, что так можно Inputo'ом пользоваться. Здорово. Буду ковырять - завтра результат выложу.

[alex77755]

Следующие инструкции открывают файл TESTFILE для последовательного чтения.

Open "TESTFILE" For Input As #1

[Mikle]

Попробуй так. Для скорости скомпилируй в native.

Код: Выделить всё

Option Explicit

Private Type mType
  b(7) As Byte
End Type

Private Sub Form_Load()
  Dim nf1 As Integer, d1(4095) As Byte, a1 As Long, p1 As Long
  Dim nf2 As Integer, d2(4095) As mType, a2 As Long
  Dim i As Long
  Show
  Caption = "Wait..."
  For a2 = 0 To 4095
    d2(a2).b(6) = 13
    d2(a2).b(7) = 10
  Next a2
  nf1 = FreeFile
  Open "1.txt" For Binary As #nf1
  nf2 = FreeFile
  Open "2.txt" For Binary As #nf2
  p1 = 1
  a2 = 0
  Do
    a1 = 0
    Get #nf1, p1, d1()
    Do
      For i = 0 To 5
        d2(a2).b(i) = d1(a1 + i + 5)
      Next i
      a2 = a2 + 1
      If a2 = 4096 Then
        a2 = 0
        Put #nf2, , d2()
      End If
      If d1(a1 + 60) = 10 Then a1 = a1 + 61 Else a1 = a1 + 60
      If a1 > 4095 - 60 Then p1 = p1 + a1: Exit Do
    Loop
  Loop Until EOF(1)
  For i = 0 To a2 - 1
    Put #nf2, , d2(i)
  Next i
  Close #nf2
  Close #nf1
  Caption = "Ok!"
End Sub

[Dimon111]

ОК. Последний пример быстрее всех предидущих обработал файл 300МБ за 7 минут, что является абсолютным рекордом.

Но что - то не работает потому, что выходной файл получился такого типа:

+5395
5413 0
2462.
0.027
+292
+1
.13952
9.00 2
327 -0
+49

Разбираясь наткнулся на непонятные для меня конструкции:

Код: Выделить всё

d2(a2).b(6) = 13

d2 вроде одномерный массив байтового типа. Что означает b(6)?

Код: Выделить всё

Get #nf1, p1, d1()

Правильно ли я понял, что число байт p1 кладется в массив d1?
Было бы очень интересно понять почему этот пример работает так быстро.

Спасибо.

[Mikle]

не работает потому, что выходной файл получился такого типа:

Видимо в исходном файле есть отличия от того, что ты написал раньше:

Код: Выделить всё

+322 +1611 +112 -26.316 999999.00 2531.486 0.0942422 0.000
-2806 +2901 +137 -26.316 999999.00 2531.486 0.0942414 0.000
-4166 +1041 +155 -26.316 999999.00 2531.486 0.0942407 0.000
-1480 -2021 +167 26.315 999999.00 2531.486 0.0942400 0.000

Я это накрпировал в файл под сотню килобайт - обрабатывается корректно. Получается такое:

Код: Выделить всё

+1611
+2901
+1041
-2021
+1611
+2901
+1041
-2021

Отрежь от исходного файла кусок побольше, хотя бы мегабайт, и выложи.

d2 вроде одномерный массив байтового типа. Что означает b(6)?

d2 - массив пользовательского типа mType.

Get #nf1, p1, d1()
Правильно ли я понял, что число байт p1 кладется в массив d1?

Нет, из файла с адреса p1 берётся ВЕСЬ массив d1.

Было бы очень интересно понять почему этот пример работает так быстро.

Потому, что чтение-запись файлов производится большими порциями (кэшируется), потому, что работа идёт с байтами, а не со строками.

[Dimon111]

Понял разницу. Сгенерированый Вами файл не содержит 5 пробелов вначале строки.

-4201 +279 +346 -0.059 999999.00 2462.244 -0.1395175 0.000
+980 -4575 +359 -0.116 999999.00 2462.244 -0.1395146 0.000
+4949 -3103 +374 -0.179 999999.00 2462.244 -0.1395116 0.000
+2226 +2651 +389 -0.102 999999.00 2462.244 -0.1395087 0.000
-3487 +4879 +403 0.017 999999.00 2462.244 -0.1395057 0.000
-4440 +559 +415 -0.027 999999.00 2462.244 -0.1395028 0.000
+615 -4468 +424 -0.088 999999.00 2462.244 -0.1394998 0.000

Незнаю, будет ли отображаться правильно, но 5 пробелов вначале строки имеются.

[Mikle]

Код: Выделить всё

Option Explicit

Private Type mType
  b(7) As Byte
End Type

Private Sub Form_Load()
  Dim nf1 As Integer, d1(4095) As Byte, a1 As Long, p1 As Long
  Dim nf2 As Integer, d2(4095) As mType, a2 As Long
  Dim i As Long
  Show
  Caption = "Wait..."
  For a2 = 0 To 4095
    d2(a2).b(6) = 13
    d2(a2).b(7) = 10
  Next a2
  nf1 = FreeFile
  Open "1.txt" For Binary As #nf1
  nf2 = FreeFile
  Open "2.txt" For Binary As #nf2
  p1 = 1
  a2 = 0
  Do
    a1 = 0
    Get #nf1, p1, d1()
    Do
      For i = 0 To 5
        d2(a2).b(i) = d1(a1 + i + 10)
      Next i
      a2 = a2 + 1
      If a2 = 4096 Then
        a2 = 0
        Put #nf2, , d2()
      End If
      If d1(a1 + 65) = 10 Then a1 = a1 + 66 Else a1 = a1 + 65
      If a1 > 4095 - 68 Then p1 = p1 + a1: Exit Do
    Loop
  Loop Until EOF(1)
  For i = 0 To a2 - 1
    Put #nf2, , d2(i)
  Next i
  Close #nf2
  Close #nf1
  Caption = "Ok!"
End Sub

Незнаю, будет ли отображаться правильно, но 5 пробелов вначале строки имеются

Применяй тег Code.

[Хакер]

Чел, почему тебя переклинивает с тега [code] на тег [list]?
Почитай-ка документацию.

[Dimon111]

Извиняюсь. Я думал, что для списков List подходит.

Вот еще образец. В последней строке перед первым числом 6 пробелов, а не 5.

Код: Выделить всё

     +5395      -2159       +349 -0.169 999999.00 2462.244 -0.1395413 0.000
     +1738      +3664       +338 -0.066 999999.00 2462.244 -0.1395383 0.000
     -3597      +5112       +329  0.027 999999.00 2462.244 -0.1395353 0.000
     -3670       +292       +323 -0.047 999999.00 2462.244 -0.1395324 0.000
     +1534      -4248       +320 -0.121 999999.00 2462.244 -0.1395294 0.000
     +4928      -2387       +322 -0.183 999999.00 2462.244 -0.1395264 0.000
     +1849      +3283       +327 -0.080 999999.00 2462.244 -0.1395234 0.000
     -3623      +4979       +335  0.002 999999.00 2462.244 -0.1395205 0.000
     -4201       +279       +346 -0.059 999999.00 2462.244 -0.1395175 0.000
      +980      -4575       +359 -0.116 999999.00 2462.244 -0.1395146 0.000


[Хакер]

Ох.

То есть если тебя просят назвать критерии границ столбца, для тебе очевидно 5-6 пробелов перед знаком, но не очевидно, что последняя цифра всегда на одном смещении относительно начала?

[Sirik]

моему примеру наплевать сколько вначале пробелов и обрабатывает файл размером 41 512 176 байт за 20сек

если надо кину исходник

[Dimon111]

Столбец выровнен по правой границе. Т.е. смещение последней цифры первого столбца всегда одинаковое.


Поэтому смещение знака будет зависить от величины.

Sirik' у

Если исходник большой, кинте на dshabroff@mail.ru.

Спасибо.

[Sirik]

добаввь референс на MS Script Runtime

Код: Выделить всё

Private Sub Command1_Click()
    Dim FSO As New FileSystemObject, f1 As Object, f2 As Object
    Dim st As String, i As Long, j As Long, k As Long, m() As String
   
    Set f1 = FSO.OpenTextFile("c:\test.dat", ForReading)
   
    Set f2 = FSO.CreateTextFile("c:\test2.dat", True)
        i = Timer
   
        While f1.AtEndOfLine = False
            DoEvents
            st = f1.ReadLine
            j = Timer
            k = k + 1
           
            m = Split(Trim(st), " ")
            f2.WriteLine (m(0))
           
'разкоментируй если хочешь видеть процес обрабоки
'но тогда время 20сек->65сек
'            Text1.Text = Str(Round(j - i, 2)) & " сек" & ", обработано " & CStr(k) & " строк"
       
       
        Wend
    Set FSO = Nothing
    Set f1 = Nothing
    Set f2 = Nothing
   
   
    MsgBox Round(j - i, 2)
   
End Sub


[Dimon111]

Последний пример вполне рабочий и наиболее быстрый. Гигабайтный файл обработан вполне корректно за 595с.

Спасибо, друзья! Теперь я понял, что ошибался. Подобные задачи вполне можно решать на VB.

И действительно будет пофиг сколько пробелов вначале:

Код: Выделить всё

m = Split(Trim(st), " ")

Возможно (я так думаю), подставляя вместо нуля

Код: Выделить всё

f2.WriteLine (m(0))

другие значения можно выделять и другие столбцы.

Видимо работа с объектами FSO происходит куда быстрее, чем банальный LineInput.

[Dimon111]

Вопрос немножко не по теме. Хотел сваять некоторый интерфейс, но накнулся на FSO. Как извне задать имя / путь файла. Наподобие:

Код: Выделить всё

70:     CommonDialog.ShowOpen                           'Открытие диалога для задания имени исходного файла
        LogDir = CommonDialog.FileName                  'Присвоение имени файла


Спасибо.

[Sirik]

не совсем понял куда задать?

зы. и ты что метки используешь? оО

20 сек подумав)
мб сюда:

Код: Выделить всё

Set f1 = FSO.OpenTextFile(имя входящего файла, ForReading)
   
    Set f2 = FSO.CreateTextFile(имя выходящего, True)

[Dimon111]

Нет, я пытался использовать диалоговое окно чтобы задать имя файла. Можно ли так делать в случае с FSO?

[Хакер]

Вообще забавно, что люди хотят быстрое решение, но пользуются FSO и прочими медленными трюками.

[Dimon111]

Вот и мне страно, но из всех предложеных примеров этот самый быстрый.

[Sirik]

Нет, я пытался использовать диалоговое окно чтобы задать имя файла. Можно ли так делать в случае с FSO?

да с чем угодно) просто измени имя файла и путь как я показал в предыдущем посте

[Mikle]

страно, но из всех предложеных примеров этот самый быстрый.

Мой, глядишь, и побыстрее окажется, только я не хочу опять делать с изначально неправильными данными. Я просил выложить первый мегабайт из таблицы ФАЙЛОМ, а не строками, которые ты скопипастил на форум.