Загрузка из текстового файла

[KPEATOP]

Имеется текстовый файл 111.txt
Его содержимое:

Дата Время Давление Температура Удельное эл. сопротивление жидкости Давление Температура Удельное эл. сопротивление жидкости
Date Time P T E P T E
19.02.11 19:00:33 963.000 26444.000 1022.000 340.000 25287.000 1023.000
19.02.11 19:01:33 963.000 26444.000 1022.000 339.000 25288.000 1023.000
19.02.11 19:02:33 962.000 26443.000 1022.000 339.000 25288.000 1023.000
19.02.11 19:03:33 963.000 26445.000 1022.000 340.000 25288.000 1023.000
ствтрвпртвапттыатыа
19.02.11 19:04:33 963.000 26445.000 1022.000 339.000 25288.000 1023.000
19.02.11 19:05:33 962.000 26444.000 1022.000 340.000 25289.000 1023.000
19.02.11 19:06:33 962.000 26444.000 1022.000 340.000 25289.000 1023.000
19.02.11 19:07:33 962.000 26444.000 1022.000 339.000 25289.000 1023.000

Мне нужно загрузить в какой-нибудь массив данные (без текстовых строк).
Во-первых: не известно количество столбцов. Если количество столбцов известно, тогда данные можно считывать при помощи:
Input #1, A(1,1), A(1,2), A(1,3), A(1,4), A(1,5), A(1,6), A(1,7), A(1,8)
В данном случае столбцов 8, но может быть и меньше и больше.
Так вот Первый вопрос: КАК ОПРЕДЕЛИТЬ КЛИЧЕСВО СТОЛБЦОВ?

Во-вторых: в начале файла и между строк могут иногда попадаться текстовые строки.
Так вот Второй вопрос: КАК ИХ ИГНОРИРОВАТЬ ПРИ ЗАГРУЗКЕ ДАННЫХ?

В общем, мне необходимо загрузить в массив или в разные массивы (без разницы) только данные.

Заранее сенкс!

[Qwertiy]

Читай строки и делай Split.

[KPEATOP]

А как работает Split ? Может кто-нибудь кратко разъяснить? Никогда не пользовался.

[Qwertiy]

А как работает Split ? Может кто-нибудь кратко разъяснить? Никогда не пользовался.

http://msdn.microsoft.com/ru-ru/library/6x627e5f(v=vs.90).aspx
http://kbyte.ru/ru/Programming/Guides.aspx?id=40&mode=show

[KPEATOP]

Понял как использовать Split, спасибо.
Теперь у меня другая проблема. Мой Visual Basic 5.0 не воспринимает Split.
Например:

Код: Выделить всё

    Dim strok As String
    Dim MyArray() As String

    Open Way1 For Input As #1
    Do While Not EOF(1)
         Line Input #1, strok
         MyArray = Split(strok)
    Loop
    Close #1

Выделяет Split и выдает ошибку:
Compile error:
Sub or Function not defined

Что это может быть?

[Хакер] :: КРЕАТОР, если ты не будешь пользоваться тегом code для оформления, ты будешь наказан.

[Qwertiy]

Split случайно не в VB6 появился? По одной из ссылок так написано...

[Хакер]

Split случайно не в VB6 появился? По одной из ссылок так написано...

Именно так.

[KPEATOP]

Жаль. А где можно качнуть VB6 ?

[Qwertiy]

Жаль. А где можно качнуть VB6 ?

Где найдёшь

[The trick]

Жаль. А где можно качнуть VB6 ?

В интернете можно.

[aleksmir]

Я тоже пользуюсь VB5, т.к. дистрибутив программы на VB5 более компактен, чем на VB6.

Вместо функции Split использую свою самописную процедуру (может вам пригодится):

Код: Выделить всё

' ПРОЦЕДУРА: делит строку на подстроки по указанному разделителю
' strText - исходная строка
' strSp - разделитель (если не задан, то делит по всем возможным разделителям)
' varMas() - массив с результатом
Public Sub SplitSeparator(strText As String, strSp As String, varMas() As String)
  ' Переменные
    Dim intLen As Integer  ' длина строки
    Dim strRez As String   ' строка результата
    Dim intPos As Integer  ' позиция разделителя
    Dim intBeg As Integer  ' позиция налача поиска
    Dim intSp As Integer   ' длина разделителя
    Dim intChr As Integer  ' счётчик символов
  ' Код
    ' инициализация массива
    ReDim varMas(0)
    ' определение длины текста
    intLen = Len(strText)
    ' выход, если длина равна нулю
    If intLen = 0 Then Exit Sub
    ' определение длины разделителя
    intSp = VBA.Len(strSp)
    ' инициализация строки результата
    strRez = ""
    ' инициализация позиции начала поиска
    intBeg = 1
    ' формирование массива
    Do While True
      ' поиск разделителя
      If intSp = 0 Then
        For intChr = 32 To 47
          intPos = VBA.InStr(intBeg, strText, VBA.Chr(intChr))
          If intPos <> 0 Then Exit For
        Next
        If intPos = 0 Then
          For intChr = 58 To 63
            intPos = VBA.InStr(intBeg, strText, VBA.Chr(intChr))
            If intPos <> 0 Then Exit For
          Next
        End If
      Else
        intPos = VBA.InStr(intBeg, strText, strSp)
      End If
      ' выход, если ничего не найдено
      If intPos = 0 Then Exit Do
      ' добавление подстроки в массив
      ReDim Preserve varMas(UBound(varMas()) + 1)
      varMas(UBound(varMas())) = Mid(strText, intBeg, intPos - intBeg)
      ' перемещение указателя начала поиска
      intBeg = intPos + VBA.IIf(intSp = 0, 1, intSp)
      ' выход, если конец строки
      If intBeg > intLen Then Exit Do
    Loop
    ' добавление последней подстроки
    If intBeg <= intLen Then
      ReDim Preserve varMas(UBound(varMas()) + 1)
      varMas(UBound(varMas())) = Right(strText, intLen - intBeg + 1)
    End If
End Sub


[Qwertiy]

VBA.InStr

Почему?

[alibek]

ReDim Preserve varMas(UBound(varMas()) + 1)

Это ужасно.
Изменяй массив блочно If N > UBound(array) Then ReDim Preserve array(UBound(array)+50).
По окончании цикла можешь изменить размер массива на актуальный ReDim Preserve array(N).

[aleksmir]

VBA.InStr

Почему?

Потому что был случай, когда к проекту подключил библиотеку, у которой некоторые имена совпадали с именами из библиотеки VBA. Было весело. С того момента стараюсь указывать - чьего модуля функция, процедура или метод.

[aleksmir]

ReDim Preserve varMas(UBound(varMas()) + 1)

Это ужасно. Изменяй массив блочно If N > UBound(array) Then ReDim Preserve array(UBound(array)+50).
По окончании цикла можешь изменить размер массива на актуальный ReDim Preserve array(N).

Ну тоже самое) оптимизация кода - забота автора проекта. Я поделился тем, что у меня было.

[KPEATOP]

aleksmir , я примерно такой же код с разделителями написал. У меня в текстовом файле много строк и поэтому очень долго работает (520000 строк за 52 минуты, почти час). Как думаешь, долго будет твой код работать с таким количеством строк? Может у тебя быстрее будет? Строки не длиные примерно по 50-55 символов. Если у тебя быстрее будет чем у меня , тогда можно твой код использовать. Могу дать файл с 520000 строками, чтоб ты попробовал время засечь?

[aleksmir]

aleksmir , я примерно такой же код с разделителями написал. У меня в текстовом файле много строк и поэтому очень долго работает (520000 строк за 52 минуты, почти час). Как думаешь, долго будет твой код работать с таким количеством строк? Может у тебя быстрее будет? Строки не длиные примерно по 50-55 символов. Если у тебя быстрее будет чем у меня , тогда можно твой код использовать. Могу дать файл с 520000 строками, чтоб ты попробовал время засечь?

Время ты сам засекай. Я всего лишь привел пример подпрограммы, заменяющей функцию Split.
Я бы в твоем случае сразу писал значения в таблицу базы данных (ну или хотя бы в другой текстовый файл уже с разделителями). Так было бы быстрее, за счет того, что оперативка не будет переполняться раздутым массивом.

[Qwertiy]

я примерно такой же код с разделителями написал

Приведённый тут код длинный и весьма маловероятно, что он быстро работает...
А штука с увеличение размера массива на 1 в таком варианте вообще будет жрать уйму времени, более того, может сказаться и на последующей работе программы, т. к. вызывает фрагментацию памяти.
Традиционное решение - с удваиваием числа элементов и начала с 8 или 16.

Потому что был случай, когда к проекту подключил библиотеку, у которой некоторые имена совпадали с именами из библиотеки VBA. Было весело. С того момента стараюсь указывать - чьего модуля функция, процедура или метод.

Хм.. Не знал, что эти функции относятся к библиотеке VBA...

[aleksmir]

Хм.. Не знал, что эти функции относятся к библиотеке VBA...

Да, я вспомнил. Подключил библиотеку какого-то кассового аппарата. В ней тоже есть функция Date(), которая совсем не означает текущую дату, а что-то другое. Компилятор Visual Basic создал exe-файл без проблем. Но сам по себе решил, что теперь функция Date() относится к левой библиотеки, а не к библиотеке VBA. Я ни о чем не подозревая обновил программу у заказчика... там все в панике. Программа вместо текущей даты начала выдавать странные значения. Сам долго не мог понять что случилось. Хорошо, что в Visual Basic есть пошаговая отладка строк... этим он мне и нравится.

[Qwertiy]

Хорошо, что в Visual Basic есть пошаговая отладка строк... этим он мне и нравится.

Хм.. Что-то не представляю, а где её нет?

[aleksmir]

Хорошо, что в Visual Basic есть пошаговая отладка строк... этим он мне и нравится.

Хм.. Что-то не представляю, а где её нет?

Уже конкретно не помню. Собираюсь с VB переходить на PHP, был бы рад, если бы нашёлся такой же удобный редактор как в VB5 например (пошаговое выполнение с точками остановка, отображение значений переменных и функций во всплывающих подсказках, внизу окно отладки и окно просмотра локальных переменных). Было бы нормально. Также сюда можно добавить переход к функции через Shift+F2, возврат через CTRL+SHIFT+F2, просмотр свойств, методов и событий через Object Browser (F2).

[Qwertiy]

Собираюсь с VB переходить на PHP

Не, php-редакторов не видел и на php никогда не писал...
Вроде там есть какие-то средства отладки, точно не знаю.

такой же удобный редактор как в VB5 например (пошаговое выполнение с точками остановка, отображение значений переменных и функций во всплывающих подсказках, внизу окно отладки и окно просмотра локальных переменных).

После того, что в VS2010, редактор VB6 и VBA кажется жутко неудобным...
А вот когда начинал писать на VB6, то по сравнениию BC3, казалось что там очень хорошо

[aleksmir]

После того, что в VS2010, редактор VB6 и VBA кажется жутко неудобным...
А вот когда начинал писать на VB6, то по сравнениию BC3, казалось что там очень хорошо

Понятно

[KPEATOP]

Традиционное решение - с удваиваием числа элементов и начала с 8 или 16.

Не совсем понял как это???

[Qwertiy]

Не совсем понял как это???

Заводим массив из 8 элементов и переменную N=0. Когда надо добавить элемент, помещаем его в N'ю позицию и увеличиваем N. Если вдруг размер массива оказался недостаточным, удваиваем размер массива перед добавлением элемента. Когда сделали всё что надо, обрезаем массив по числу содержащихся в нём элементов.

я примерно такой же код с разделителями написал

А тебе зачем такой же, можно же сразу вырезать строку, конвертить в число и записывать в результат, без промежуточного строкового массива.

[KPEATOP]

С этим я вроде разобрался, теперь у меня другая проблема. Данные из 500 000 строк с тремя столбцами в MSFlexGrid не пихаются. VB жалуется на память. Наверно у MSFlexGrid ограничена память. Как то надо эту проблемку решить, чтоб мне мне все данные просмотреть можно было. Про это я вообще то в другой теме вопрос поднимал.

[alibek]

Ты правда думаешь, что кому-то нужно видеть полмиллиона строк на экране для редактирования?

[KPEATOP]

Ты правда думаешь, что кому-то нужно видеть полмиллиона строк на экране для редактирования?

Если понадобятся какие нибудь строки, как их увидеть. Например загрузил я в MSFlexGrid 80 000 строк (больше у MSFlexGrid памяти не хватает). Полоса прокрутки у MSFlexGrid прокрутит только до 80 000 - ой строки. А как мне другие строки посмотреть, если понадобятся, из массива загружать другие 80 000, потом другие 80 000 и т.д. ?

[alibek]

Если понадобятся какие нибудь строки, как их увидеть.

Ты хочешь сказать, что у тебя монитор высотой полтора километра?

А как мне другие строки посмотреть, если понадобятся, из массива загружать другие 80 000, потом другие 80 000 и т.д. ?

Ты хочешь сказать, что у тебя монитор высотой 250 метров?
На экране умещается одна или две сотни строк. Вот и нужно отображать только те строки, которые в данный момент выводятся на экран.
А при скроллинге определять позицию первой отображаемой записи, количество выводимых записей и загружать в грид только их.
Потом можно прикрутить всякие оптимизации типа read-ahead, но для начала научись загружать только то, что действительно нужно.

[KPEATOP]

На экране умещается одна или две сотни строк. Вот и нужно отображать только те строки, которые в данный момент выводятся на экран.
А при скроллинге определять позицию первой отображаемой записи, количество выводимых записей и загружать в грид только их.
Потом можно прикрутить всякие оптимизации типа read-ahead, но для начала научись загружать только то, что действительно нужно.

Придется частично отображать, спасибо за помощь. Я не имел ввиду одновременно все данные увидеть. Я имел ввиду, чтоб они загруженные были и при скролинге просто бы сами появлялись, чтоб не писать еще коды.