Быстрое добавление уникальных записей в Access

[MAGRAV]

Доброго времени суток форумчане!
Имею очень маленький опыт работы в Access, я не базист, но приличный опыт в VB, VBA.

На данный момент добавляю скриптом из Access данные из источников Excel или *.csv.
Ясное дело, что построчное добавление посредством INSERT INTO... дело не быстрое. На 2500 записей уходит порядка 3-5 минут в зависимости от тачки.
Это не годно совсем. А уж когда я каждый раз применяю DELETE FROM ... после каждого INSERT INTO, для удаления дубликатов, то ситуация само собой усугубляется в арифметической прогрессии по мере заполнения таблицы.

А готовлюсь я заполнять до нескольких сотен тысяч строк. И время на заполнение, к примеру, 800 000 записей я читаю нормальным 2 минуты, а не 12 недель, я ожидаю, в той конфигурации, что у меня.

Да я бы для себя проще поступил. Посредством коллекций+split+join из VBA-процедуры сформировал бы в список уникальных записей. И заняло бы это считанные секунды. Даже не желаемые 2 минуты. А потом бы единым куском закинул бы в Ассеss. И при каждом добавлении новых записей, выгружать всю таблицу целиком и повторять с ней предъидущие действия. Но это же не цивильный подход! За чем тогда SQL-запросы и Access. Они же должны быть эффективнее чем мои велосипеды?!

Подскажите в каком направлении двигаться?

[MAGRAV]

Чувствую что кое где фигню порю:
Не надо каждый раз применять DELETE FROM ... после каждого INSERT INTO.

Но тем не менее вопрос по производительности остаётся открытым...

Можно ли в запросе INSERT INTO разом несколько записей сделать?

[ger_kar]

1. Вопрос зачем нужно сначала добавлять записи, потом выявлять совпадения и удалять лишние вместо того, чтобы настроить индексирование или ключевые поля таким образом, чтобы в таблицу могли добавляться только уникальные записи? Тогда при добавлении записи, которая не является уникальной просто будет возникать ошибка, а сами данные в таблицу попадать не будут.
2.Насчет добавления записей. У вас запрос на добавление для каждой записи формируется заново и при этом выполняется куча не нужных строковых операций. Проще сформировать нужные параметрические запросы на добавление в самом Access и вызывать эти запросы просто передавая нужные значение как параметры. Будет гораздо быстрее. Можно добавить и таким способом. Сделать запрос вида "SELECT * FROM моя_таблица WHERE False", далее открыть рекордсет выполнив этот запрос. Так как условие в запросе всегда будет False, то такой рекордсет будет пустым. Далее в него добавлять записи и потом за один раз делать обновление внося данные в базу. Какой вариант будет быстрее - нужно ставить эксперимент. Плюс если таблицу настроить, так как указано в п.1, то при обновлении по второму варианту при возникновении ошибок нужно предусмотреть возможность обработки таких ошибок в событиях рекордсета. По этому первый путь проще.

[NashRus]

в общем случае, судьба такой.
я тоже часто записи импортирую, медленно да.
Есть один только способ, BulkCopy. может и для Access он есть, в Sql юзаю.
а так...
Наличие первичного ключа проверяю по ошибки вставки, это быстрее чем селект запрашивать,
далее от логики, удалять, обновлять, вставлять.

[HandKot]

для массовой вставки используется
DoCmd.TransferSpreadsheet
и DoCmd.TransferText
я в своё время использовал RunSavedImportExport
пихал в буфер, а там обрабатывал

[kibernetics]

для массовой вставки используется
DoCmd.TransferSpreadsheet
и DoCmd.TransferText
я в своё время использовал RunSavedImportExport
пихал в буфер, а там обрабатывал

А как это выглядит технически? В смысле, как использовать DoCmd в коннекшене?

[HandKot]

А как это выглядит технически? В смысле, как использовать DoCmd в коннекшене?

думаю никак. Это объект Accessa

[kibernetics]

Тогда, если ТС работает с данными из XLS/CSV, то вариант вставлять напрямую с этих таблиц,

Код: Выделить всё

       Dim AccessConn As New System.Data.OleDb.OleDbConnection("Provider=Microsoft.Jet.OLEDB.4.0;Data Source=C:\Test Files\db1 XP.mdb")

        AccessConn.Open()

        'New table
        Dim AccessCommand As New System.Data.OleDb.OleDbCommand("SELECT * INTO [tbl1] FROM
        [Text;DATABASE=C:\Documents and Settings\...\My Documents\My Database\Text].[tbl1.txt]", AccessConn)
        'Existing table
        'Dim AccessCommand As New System.Data.OleDb.OleDbCommand("INSERT INTO [tbl1] (F1, F2, F3) 
        SELECT F1, F2, F3 FROM [Text;DATABASE=C:\Documents and Settings\...\My Documents\My Database\Text].[tbl1.txt]", AccessConn)

        AccessCommand.ExecuteNonQuery()
        AccessConn.Close()

ну и файл schema.ini должен содержать приблизительно такие сведения:
[*][tbl1.txt]
ColNameHeader=False
Format=TabDelimited
CharacterSet=ANSI

[MAGRAV]

ger_kar, Попробовал сделать всё, как описывалось. Совсем закрутился забыл отписать о результатах. С записью непосредственно в рекордсет действительно быстрее чем INSERT INTO раза в 2-3. Но что то с ошибкой завершалось и изменения не сохранялись. Передавать переменные параметры не пробовал. Воспользовался TransferSpreadsheet, как уже тут упоминали. Вот это то что надо!