Access SQL запрос - массив в базу?

[JohnK]

Есть огромная таблица, порядка 300 000 строк и 8 столбцов. Как оптимизировать скорость загрузки этой таблицы в базу?
В моей программе эта таблица парсируется из большого файла, отпарсированная строка загоняется в базу. На то чтобы все это загнать уходит много времени (минут 10). Может можно как-то загнать все это пачками, скажем по 10 строк сразу или массивом?

[FireFenix]

Если парсится большой файл, то наверное проблема в самом парсинге...

10 строк сразу или массивом?

Транзакция? Насчёт профита в производительности - не знаю, но вроде должна быть чуток

Ещё можно заюзать мультипоточность...

[iGrok]

Импорт в самом аксессе не катит?

Вообще, можно попробовать сначала подготавливать csv-файл с нужными полями, а потом грузить его чем-то вроде
insert into [table] .. select ... from [filename] in [path]
Точный синтаксис не помню, но могу поискать.

[SLIM]

Если уж совсем критично, то можно подумать о чтении файла несколькими потоками и записи в несколько транзакций. Но все это будет очень сложно.
Проще и правда подязать и все.

[Andrey Fedorov]

Полезные ссылочки на тему:

http://msdn.microsoft.com/en-us/library/ms709353.aspx
http://msdn.microsoft.com/en-us/library/ms974559.aspx

Ну и пример:

--------------------------------

Код: Выделить всё

Public Sub Main()
    Const sPathIn As String = "C:\Temp\"
    Const sPathOut As String = "C:\Temp\"
    Const sFileIn As String = "File.txt"
    Const sFileOut As String = "NewFile.txt"

    Dim cn As New ADODB.Connection, r As New ADODB.Recordset, _
        s As String, ss As String, sSchemaIni As String, i As Integer

    cn.Open "Provider=Microsoft.Jet.OLEDB.4.0;" & _
          "Data Source=" & sPathIn & ";" & _
          "Extended Properties=Text"

    ' Создадим файл откуда берем данные для теста
    For i = 0 To 100
        s = Mid$(Format$(Rnd, ".0000000"), 2)
        ss = ss & Mid$(s, 1, 1) & "," & Mid$(s, 2, 1) & "," & Mid$(s, 3, 1) & "." & CInt(Mid$(s, 4, 3)) & "," & Mid$(s, 7, 1) & vbCrLf
    Next i
    s = sPathOut & sFileIn
    If FileExists(s) Then Kill s
    SaveFile s, ss
   
    ' Удалим выходной файл
    s = sPathOut & sFileOut
    If FileExists(s) Then Kill s
   
    ' Создадим schema.ini
    sSchemaIni = sPathOut & "schema.ini"
    If FileExists(sSchemaIni) Then Kill sSchemaIni
    ss = "[File.txt]" & vbCrLf _
        & "ColNameHeader=False" & vbCrLf _
        & "CharacterSet=1251" & vbCrLf _
        & "Format=Delimited(,)" & vbCrLf _
        & "DecimalSymbol=." & vbCrLf _
        & "Col1=F1 Integer" & vbCrLf _
        & "Col2=F2 Integer" & vbCrLf _
        & "Col3=F3 Float" & vbCrLf _
        & "Col4=F4 Integer" & vbCrLf _
        & vbCrLf _
        & "[NewFile.txt]" & vbCrLf _
        & "ColNameHeader=False" & vbCrLf _
        & "CharacterSet=1251" & vbCrLf _
        & "Format=Delimited(,)" & vbCrLf _
        & "DecimalSymbol=." & vbCrLf _
        & "NumberDigits=4" & vbCrLf _
        & "Col1=F1 Integer" & vbCrLf _
        & "Col2=F2 Integer" & vbCrLf _
        & "Col3=F3 Float" & vbCrLf _
        & "Col4=F4 Integer" & vbCrLf
       
    SaveFile sSchemaIni, ss
   
    ' Импортируем данные
    On Error GoTo Err_
    r.Open "SELECT * INTO [" & sFileOut _
                    & "] IN '" & sPathOut & "' [Text;] " _
            & "FROM [" & sFileIn _
            & "] ORDER BY 1,2,3,4", cn, _
                    adOpenStatic, adLockReadOnly, adCmdText
    If FileExists(sSchemaIni) Then Kill sSchemaIni
    Exit Sub

Err_:
    With cn.Errors(0)
        If .NativeError = -329323426 And .Number = -2147467259 Then Resume Next
    End With
    MsgBox Err.Description, vbCritical
End Sub

Private Function FileExists(sFile As String) As Boolean
    On Error Resume Next
    FileExists = ((GetAttr(sFile) And vbDirectory) = 0)
    If Err.Number Then Err.Clear
End Function

Private Sub SaveFile(sFile As String, sText As String)
    Dim iHFile As Integer
   
    iHFile = FreeFile
    Open sFile For Binary As #iHFile
    Put iHFile, , sText
    Close #iHFile
End Sub

[JohnK]

Парсинг csv файла не избежать так как я выбираю нужные мне поля.
Суть такая: есть (цифры для примера) 141 товар, у каждого товара есть подробности (прибыл, отправлен и тд) этих подробностей может быть до 4 000.
Я думал есть что-то на подобии механизма добавления массива в Exel. Там можно добавить массив и это раз в 100 быстрее чем если бы я добавлял их в цикле по одной строке.

Код: Выделить всё

...
'Массив  X(0 to tot,0 to 7)
tot=4000

XL.Range("C" & CStr(i) & ":J" & CStr(i + tot)).Value = X
...


P.S. В моем случае два этапа : Парсинг -> добавление в базу. В предлагаемом выше примере мне будет нужно следующее: Парсинг -> формирую файл -> Добавляю в базу.
Не уверен (будет время - попробую), но мне кажется что это только замедлит весь процесс.

[iGrok]

Эмм.. То есть ты парсишь CSV???
За кой чёрт ты его парсишь, если ты можешь выдернуть нужные поля прямо в запросе не вставку из текстового файла?
Там Andrey Fedorov привёл пример чуть выше, только нужно не SELECT * FROM, а SELECT field1, field2, ..., fieldN FROM.

Или у csv нету заголовка?

[JohnK]

Этот csv смешанный, т.е. в нем много таблиц которые мне не нужны, причем таблицы разных размерностей. Заголовка нет.

[iGrok]

А. Ну тогда действительно надо попробовать импорт из сгенерированного тобой файла. Скорей всего это будет быстрее. Но надо тестировать.