Запросы на удаление строки в Access

[КсЮня]

Помогите мне пожалуйста.
У меня есть огромный файл в Excel из 30 тысяч строк, из которого надо сделать БД. Там есть куча повторяющихся строк по определенным признакам и я должна с помощью БД удалить как-то все эти строки. Вроде как БД я сделала, разбила на маленькие таблички, сделала ключевое поле, типа код просто для каждой строчки. А потом когда начинаю делать группировку, если код этот не вставлять, мне группировку отлично делают, убираются полностью повторяющиеся строки, но теряется связь с этим колом и восстановить никак не могу. Если же код оставляю, то как было 30919 строк, так и остается.
Вопрос: Можно ли как то делать запрос, которые какие-то ячейски как-то проверяет и удаляет их, если одинаковые (но при этом остается связь с кодом).
Либо может мне какое-то ключевое поле другое сделать?
Заранее спасибо.

[Antonariy]

Проще сделать еще одну такую же таблицу и сделать в нее выборку:

Код: Выделить всё

insert into tbl2 (fld1, fld2 ...) select distinct fld1, fld2 ... from tbl1

Слово distinct означает неповторяющиеся записи. Ключевое поле в выборку естесственно не включать. Я правильно понял, что нужно избавиться от повторов?

[Gloom]

Можно и удалить строки с повторяющимися полями запросом типа этого:

Код: Выделить всё

DELETE *
FROM Таблица
WHERE Таблица.Код NOT IN (SELECT MIN(Таблица.Код) FROM Таблица GROUP BY Таблица.Данные1, Таблица.Данные2, ...)

[alibek]

Первый вариант проще и быстрее.
Да и в целом удобнее, если критерии отбора будут более сложными.

[КсЮня]

Antonariy
если я делаю, как ты пишешь, то у меня получается, что только fld1, fld2 из которых Distinct делаю копируются в новую таблицу, а остальные у меня не копируются. а мне надо с кодом, чтобы связь осталась, потому что это только первый шаг.

[Antonariy]

Повторами я считаю записи идентичные по всем полям. Скопируй таблицу и удали ключевое поле. Сделай выборки select * from и select distinct * from. Насколько отличаются количества возвращаемых записей?

[КсЮня]

ээээ, подожди, а как это я без ключевого поля то??? а с остальными таблицами как я буду связывать потом с другими таблицами???

[Antonariy]

Я же говорю скопируй и у копии удали ключ. А база нормализована чтоль? У подчиненных таблиц есть какие-то записи?

А вообще, если у тебя похожесть повторов плюс-минус трамвайная остановка, то пользуйся глумовским способом.

[КсЮня]

да, с нормализацией, одна главная таблица, от неё 5 подчиненных. удалять строки по разным признакам из разных таблиц. даже если я скопирую и петем у другой удалю записи, я не смогу потом опять связь восстановить же

[Antonariy]

Н-да, чистку нужно проводить до нормализации. Короче, пользуйся глумовским способом.

[КсЮня]

это как???

[Antonariy]

Как он написал. См второй ответ.

[КсЮня]

Gloom
я короче написала этот запрос, только вот у меня комп что-то сильно призадумался, при его выполнении. видимо ни я ни комп не очень поняли выражение "NOT IN". можешь рассказть, что оно значит??

[alibek]

Если таблица большая, то он и будет думать долго, подожди.
По смыслу запрос обозначает следующее.
УДАЛИТЬ
ИЗ Таблица
ДЛЯ Таблица.Код НЕ ВХОДЯЩИЙ В (ВЫБРАТЬ МИНИМАЛЬНОЕ_ЗНАЧЕНИЕ(Таблица.Код) ИЗ Таблица СГРУППИРОВАВ ПО ...)

Т.е. удалить все неуникальные коды, оставив только первый код неуникальной серии.

[Summer.05]

Меня заинтересовал ход твоей мысли

Можно и удалить строки с повторяющимися полями запросом типа этого:

Код: Выделить всё

DELETE *
FROM Таблица
WHERE Таблица.Код NOT IN (SELECT MIN(Таблица.Код) FROM Таблица GROUP BY Таблица.Данные1, Таблица.Данные2, ...)

Не подскажешь ли, возможно ли такое с использованием рекордсета?

[Antonariy]

Нет. Никакие выборки и запросы к рекордсету невозможны. Возможно только AddNew и Delete построчно и навешивание фильтра.

[Summer.05]

Antonariy

Понял, спасибо!
А как же использовать фильтр для поиска двух одинаковых записей в одном поле? Я понимаю, надо будет идти циклом, сравнивая строки для последующего делета одинаковых записей по конкретному полю. ЧТо это за фильтр, как он выглядит?

[Antonariy]

rs.filter = "field>1 or field<10"
Аналогично синтаксису where. А чтобы искать повторы, рекордсет сначала нужно отсортировать по нужному полю/полям.
rs.sort="fld1 asc, fld2 desc"
В любом случае, это проще делать запросами в QA.

[Summer.05]

Antonariy
Да с сортировкой понятно, я ее провожу по полю Title,
Проблема в том, что это поле - текстовое и значительного размера (254). Поэтому установка фильтра для текстовог поля для меня проблематична. Что с чем сравнивать?

[alibek]

Нет. Никакие выборки и запросы к рекордсету невозможны.

Кстати, немного не так.
Есть тип данных DataType.IDISPATCH (который правда не поддерживается в ADO старше 2.1).

[Antonariy]

Механизм удаления повторов следует выбирать исходя из того, что представляют из себя данные, насколько похожи повторы. Если они идентичны, то самое простое - удалить запросом. Если +/- трамвайная остановка, то визуально - отсортировав выборку по критерию похожести и ручками удаляя каждую лишнюю запись.

Выложи репрезентативную выборку записей на сто, например в экселе. Тогда будет понятно, что тебе больше подойдет.

[Summer.05]

Antonariy
Да, спасибо!
Я уже понял, что ручками придется.
Правда, среди 38080 тем диссертаций придется удалить около 10000.

"Если все делать ручками, то они скоро отвалятся", как говорит один из наших гуру...

[Antonariy]

Ну теперь хоть понятно с чем имеем дело
30% повторов - довольно много. Но 38к - все таки мало Большую часть получится удалить запросами, на долю "ручек" останется немного

[Summer.05]

Antonariy
Ты прав, вот я и стараюсь додуматься, как их удалить.
Вариант 1. - через сохранения уже ощищенного текста из рекордсета (твоими молитвами).

Вариант2. - Удаление фильтром.
Но тут затык: ЧТо писать в WHERE?
Нужно сравнивать одинаковые названия диссертаций из поля Title,

Явно, что где-то лишний пробел, где-то не такая буква. На ручки работы хватит, естественно.