Массив на 99999999 элементов

[Antonariy]

20 минут — это чисто запись или время большое из-за особенностей источника данных (датчиков)? Если это именно запись, то, сдается мне, ты буфер забыл приделать

Просто запись файла без источника данных

У меня получилось 48 секунд включая генерацию данных. Запись файла — секунд 5. Из-под VBA.

Код: Выделить всё

Dim r() As Byte
    t = Now
    ReDim r(399999996)
    For x = 0 To 399999996
        r(x) = Rnd * 255
    Next
    WriteFile "c:\1.0", r
    Debug.Print DateDiff("s", Now, t)

Public Sub WriteFile(path As String, r() As Byte)
    Open path For Binary As #1
    Put #1, , r
    Close #1
End Sub

[Денис]

У меня получилось 48 секунд включая генерацию данных. Запись файла — секунд 5. Из-под VBA.

Прошу огласить конфигурацию машины. У меня на P-4 (3GHz), 512 DDR2 и с 2 Гб файлом подкачки выполнение вышеприведенного кода висело около 3 минут (причем всё это время winword.exe занимал в памяти 20-22 Мб), после чего мне надоело ждать и я брейкнул.

[ANDLL]

Гы.
Вот я читаю топик и не могу... удержаться в смысле не могу.
Это ж надо...

Чтобы все работало быстрее использовал PB:

Забавно даже то, что если бы код жунгла был написан на C, а код Antonariy на JavaScript, то он(код по типу Antonariy) все равно работал бы быстрее в много раз(если конечно там не комп вроде Денисовского). Что еще раз подтверждает очень старую истину - нужно писать программы используя мозги, а не (что там жунгле использует)

У меня на P-4 (3GHz), 512 DDR2 и с 2 Гб файлом подкачки выполнение вышеприведенного кода висело около 3 минут, после чего мне надоело ждать и я брейкнул.

До тебя не доходит что массив просто тупо сливается в своп и это не ускоряет процесс записи?

[ANDLL]

Алсо мне нравится как люди стремятся использовать "оверлейного файла"(судя по дальнейшему топику это мемори мапед фаел). Я конечно спросил бы что общего у MMF и оверлеев, но уж наверное это будет слишком жестоко. Но все же - куча народу и правда ведь верит в магию MMF, полагая что это какаято чудесная фича, которая может ускорить чтение файлов с диска. Спешу разочаровать - правильно использованный ReadFile для одноразового чтения ничуть не лучше и не хуже MMF.
А можно я еще напишу парку комментоф в таком же стиле?

[MIT]

Пиши исчо!

[Денис]

Гы. До тебя не доходит что массив просто тупо сливается в своп и это не ускоряет процесс записи?

Гы. У меня диспетчер задач тупо показывает что winword.exe все три минуты тупо занимал в памяти 20-22 Мб. Поэтому я сделал вывод, что winword.exe тупо использовал 20-22 Мб памяти и не больше.

А где посмотреть реальные данные?

[ANDLL]

Ну короче 399999996 байт это 381,469722747802734375 метров, что конечно скорее всего при 512 метрах памяти будет в существенной мере засунуто в файл подкачки.
Отчего да почему диспетчер задач показывает меньше - я не могу сказать. Посмотри счетчик page fault'ов - он должен зашкаливать.

[Antonariy]

У меня получилось 48 секунд включая генерацию данных. Запись файла — секунд 5. Из-под VBA.

Прошу огласить конфигурацию машины.

Core2 Duo E6750 @ 2,66 GHz, 2ГБ ОЗУ.

[Денис]

Мой код не использует массив в оперативной памяти, а сразу пишет байты в открытый файл. В конце цикла файл закрывает. Но я код выкладывать не стал, ибо во-первых предложенных решений уже много, во-вторых, мой код работает невыносимо долго, он и 30 Мб создает долго, а уж 300, а уж требуемый автору гиг и подавно.

[jangle]

Меня интересует реальная задача, а не тестовый пример.

Это и есть пример решения задачи, сейчас буду его напильником, но вобщем все работает без проблем.

[jangle]

20 минут — это чисто запись или время большое из-за особенностей источника данных (датчиков)? Если это именно запись, то, сдается мне, ты буфер забыл приделать

Просто запись файла без источника данных

У меня получилось 48 секунд включая генерацию данных. Запись файла — секунд 5. Из-под VBA.

Код: Выделить всё

Dim r() As Byte
    t = Now
    ReDim r(399999996)
    For x = 0 To 399999996
        r(x) = Rnd * 255
    Next
    WriteFile "c:\1.0", r
    Debug.Print DateDiff("s", Now, t)

Public Sub WriteFile(path As String, r() As Byte)
    Open path For Binary As #1
    Put #1, , r
    Close #1
End Sub

Этот код - глупость. Прочитай про условия задачи.

[Antonariy]

Повторю, если до сих пор не дошло: глупость — держать 4 байта в строке. Байты выгоднее хранить, не поверишь, в байтовом массиве. И писать как байтовый массив. Способ с записью сразу в файл поэлементно будет быстрее лишь при ограниченном количестве оперативки. И то не факт, работа с файлом подкачки наверняка оптимизирована на уровне ядра, копирование данных из него в новый файл самой системой почти наверняка будет быстрее, чем задрочка Put в цикле.

[iGrok]

Ну то, что вы друг друга не поняли, это понятно. Не понятно, о чём тут ещё разговаривать, если нормальный способ наконец нашли.

Antonariy:
Я так понял, что ему не нужна возможность писать/читать весь набор за раз. Ему нужна возможность произвольно писать/читать некоторые ячейки.
Соответственно, большого смысла отжирать 400 метров в памяти под это дело нет.

Впрочем, если я понял не правильно, и ему нужно читать/писать весь массив, тогда конечно в память его надо грузить массивом а не поэлементно.

jangle, за кой чёрт у тебя 8 байт на запись, если ты сохраняешь всего по 4 байта данных?

[jangle]

Повторю, если до сих пор не дошло: глупость — держать 4 байта в строке. Байты выгоднее хранить, не поверишь, в байтовом массиве. И писать как байтовый массив.

Правильно думаешь - не поверю тебе. Потому что килограмм железа весит ровно столько, сколько и килограмм пуха. Утверждать обратное и есть - глупость
Ниже пример, показывает сколько занимает байтовый и стринговый массивы в памяти.

Код: Выделить всё

#Compile Exe
#Dim All

Function PBMain () As Long
    Dim ArrStr   (0 To 99999999)  As String * 4
    Dim ArrByte  (0 To 399999996) As Byte
   
    ArrStr(0)="x"
    ArrStr(99999999)="y"

    ArrByte(0)=1
    ArrByte(399999996)=255
   
    Print "Размер блока памяти в строковом массиве: " ;   VarPtr(ArrStr(99999999))-   VarPtr(ArrStr (0))
    Print "Размер блока в байтовом массиве:         " ;   VarPtr(ArrByte(399999996))- VarPtr(ArrByte(0))

    WaitKey$
End Function

Результат:

[Хакер]

jangle, эта тема существует в разделе о VB. Кого интересуют кривые особенности PB?

[jangle]

jangle, эта тема существует в разделе о VB. Кого интересуют кривые особенности PB?

Ты хочешь сказать, что в VB результат будет отличаться? Возможно, но сомнительно..
Хочешь примеры на C++/Delphi где результат будет такой же как у меня?
И какой язык после этого кривой?

[Хакер]

PB кривой, потому что в его стринги не поместить ни юникод, ни 0-содержащую строку.

Раздел о VB. Обсуждался этот язык. Обсуждался код на этом языке. Обсуждалось хранение 4-байтовых последовательностей в строках или байтовых массивах в рамках языка. Antonariy тебе сказал правильную вещь.

Человек, который пытается опровергнуть истину и для этого постит код на левом языке, либо дурак, либо провокатор.
Ты — провокатор. Поэтому я закрываю твою тему.