Как обработать большой текстовый файл - 1Гб?

[alex77755]

В общем, тот ещё геморрой..

Вот и я к тому же. А если нужно вырать нужные столбцы с помощью Input то можно запросить InptBox-ом или TexBox

[Mikle]

alex77755
В твоём файле строки переносятся через chr(13), chr(10), а у Димона только chr(10).
Нужно быть внимательнее.

[alex77755]

Так я же просто скопипастил с той страници файл. Откуда же они взялись? Сейчас проверил. У меня действительно:
74 48
75 48
76 13
77 10
Откуда он, подлец, только берётся. Я копипастил со второй страницы в блокнот. Сейчас попробовал через Шифт+Ф4 в ТоталКомандере - результат тот же. Тогда надо разбираться с кодом: где что поправить. Или попробую отредактировать файл. Спасибо за подсказку.
Визуально же их не видно. Хотя можно было догадаться "Строка 76 символов" а у меня 77

[iGrok]

Так я же просто скопипастил с той страници файл. Откуда же они взялись?

Ты не знал, что в винде перевод строки = vbCrLf = "chr(13) + chr(10)"?
И какой бы текст ты не "скопипастил" - в нём будут именно такие переводы?

Если ты, конечно, не пользуешься альтернативными текстовыми редакторами, типа notepad++, и не выставляешь там вручную "UNIX-формат" или "MAС-формат"..

[Twister]

Это кто? Пачему не знаю?
Есть, что поискать

Ну ссылку тебе уже дали. Фишка в том, что ты сможешь бежать по файлу так, как буд-то он весь загружен в память. Для юзермода это все выглядит абсолютно прозрачно - создаешь проекцию файла и общаешься с ней, как с непрерывным блоком памяти. Система будет подгружать недостающие страницы автоматически, за счет этого вразы сократится кол-во физических обращений к файлу.

[Mikle]

Откуда он, подлец, только берётся. Я копипастил со второй страницы в блокнот.

Поэтому я Димона и просил не копипастить, а выложить фрагмент самого файла. Дальше смотрел через FAR в режиме бинарного просмотра.
И, как бы ты ни мапил файл в память, через бинарный ввод-вывод всё равно будет быстрее, чем через строки. Нет конвертации сначала в юникод, потом обратно.

[Dimon111]

Не пойму, о чём речь вообще. Я уже выдал рабочий вариант (до 2 Гб, что и требовалось), который в разы быстрее.

Ваш вариант вполне рабочий.

Я им пользуюсь. Спасибо.

[alex77755]

Три дня не было инета. Не мог ответить.
Работает действительно быстрей. Но две траблы вылезают.
1 При количетве записей 10000 строк в выходном файле записей 8192. Где остальные?
при попытке посунуть 1.2 Гб формирует файл больше 2 Гб (2048) и вылетает с ошибкой.
В коде некоторые цифры подправил, что бы весь файл не переписывать, но видимо здесь d1(16385) As Byte, d2(4095) тоже надо было

[Sirik]

извините за грубость, но блин сколько можно одно и то же переживать?
если афтар файлик обрабатывает раз в сутки, то какая, блин, разница ? решения есть уже, и их много

[alex77755]

Я не пережёвываю, а изучаю возможности и варианты работы. В данном случае пока не разобрался с массивами d1(16385) As Byte, d2(4095) As mType Особенно второй(его тип). Почему именно эти цифры? Если длина строки 76 символов было бы логично(для меня иметь массивы кратными 76. Но нет. И это постивило в тупик. Думал, что может быть Mikle подскажет, каким образом они связаны. Просто раньше не приходильсь таким образом обрабатывать текстовые фаилы.

[iGrok]

Я не пережёвываю, а изучаю возможности и варианты работы. В данном случае пока не разобрался с массивами d1(16385) As Byte, d2(4095) As mType Особенно второй(его тип). Почему именно эти цифры? Если длина строки 76 символов было бы логично(для меня иметь массивы кратными 76. Но нет. И это постивило в тупик. Думал, что может быть Mikle подскажет, каким образом они связаны. Просто раньше не приходильсь таким образом обрабатывать текстовые фаилы.

Первый - просто буфер чтения на 16кб.
Второй - просто буфер записи на 32кб.
Они вообще никакого отношения к самой обработке не имеют.
Просто для увеличения скорости так сделано.

Изучай цикл подробнее.