Нечеткий поиск в БД

[alammi]

Вопрос древний, как сама вселенная: как осуществлять нечеткий поиск в бд? Желательно конкретные предложения, а не философские труды База большая (~20 полей по 15000 записей), а поиск тормозить не должен-max 30 секунд! Поделитесь идеями-буду признателен

[codemaster]

Вопрос древний, как сама вселенная: как осуществлять нечеткий поиск в бд? Желательно конкретные предложения, а не философские труды База большая (~20 полей по 15000 записей), а поиск тормозить не должен-max 30 секунд! Поделитесь идеями-буду признателен

А БД какая ?

[alammi]

Я не совсем понял твой вопрос, по-этому попробую ответить всесторонне:
1) большая
2) поле, по которому я ищу-текст
3) дорогая
4) секретная

Если здесь нет ответа, то конкретизируюй свой вопрос

[alibek]

БД это Access, MS SQL, Oracle?

[alammi]

Сделано в Access, а доступ я делаю через SQL-запросы. ПОМОГИТЕ КТО-НИБУДЬ!!! (Крик души)

[Sebas]

Что значит "Нечёткий"?

[codemaster]

Сделано в Access, а доступ я делаю через SQL-запросы. ПОМОГИТЕ КТО-НИБУДЬ!!! (Крик души)

Думаю идею с Accessом в качестве БД можно смело похронить

что касается
"Approximate string matching" линков в инете ВАГОН

как вариант
http://www.codeproject.com/string/dmetaphone6.asp

[alammi]

Я уже сижу в нем (нечетком поиске) неделю, поэтому думаю, что весь мир знает что это .
Ну так вот сомтрите: есть слово текст (есть, в смысле пользователь вбил его в строку поиска программы).
Также условимся, что есть 3 равноценных операции? удаление буквы, вставка буквы и замена буквы на другую. Так вот нечеткий поиск может найти слова, отличающиеся на одно расстояние редактирования (или 458) от заданного...Так вот пользователь вбил текст, а гениальный компьютер найдет, к примеру, тест тексты текут. Вот такая вот задачка.
Только не предлагайте перебор всех возможных (вроде ?екст, т?кст, те?ст и т.д) а то я умру!!!

З.Ы. ПОМОГИТЕ жЕ КТО-НИБУДЬ!! О где же ты Бегемот

[alammi]

Сделано в Access, а доступ я делаю через SQL-запросы. ПОМОГИТЕ КТО-НИБУДЬ!!! (Крик души)

Думаю идею с Accessом в качестве БД можно смело похронить

что касается
"Approximate string matching" линков в инете ВАГОН

как вариант
http://www.codeproject.com/string/dmetaphone6.asp

То что касается похорон Access, это еще ладно. Как я прочитал в подписях у кого-то на этом форуме: "Критикуешь - предлагай". Я уже вешаться хочу от всего этого бреда.
Вот.

[alammi]

Лирическое отступление:
Скоро я из статуса Начинающие перейду в статус Кончающие
Дайте же хоть кто-нибудь конструктиву мне!

[codemaster]

То что касается похорон Access, это еще ладно. Как я прочитал в подписях у кого-то на этом форуме: "Критикуешь - предлагай". Я уже вешаться хочу от всего этого бреда.
Вот.

Перейди на MS SQL сервер.
Как вариант линк тебе уже дал - достаточно интересное решение
которое вполне можно доработать под MSSQL.

P.S. Кроме _РОССИЙСКОГ_ инета ты хоть что нибудь читал (смотрел)?

Сдается нет

[alammi]

Нет не смотрел, в силу своей запуганости порнографией и педофилией .
Кинь пару ссылочек, plz

[alibek]

Перейди на MS SQL сервер.
Как вариант линк тебе уже дал - достаточно интересное решение
которое вполне можно доработать под MSSQL.

Можно (чтобы остаться чистым душой и непорочным ) перейти на MSDE -- по функционалу практически MSSQL, только работает на локальной машине. Зато бесплатный.

[alammi]

Ребятки! Меня это все уже умилять начинает: такое ощущение, что я сам ставлю себе такие извращенные задачи Веть мне это заказали. Нужен Басик!
Конструктиву давайте!!!

[MOV]

А что мешает сделать на крайняк обычный запрос в кострукторе. А потом вызывать его из кода. Уж там-то "нечеткий поиск" делается в пару сек. Если тебе сложно сделать именно сам запрос SQL (типа написать SELECT... и т.д.), возьми тот же, получившийся запрос и просмотри его в режиме SQL. Будет что-то типа:

Код: Выделить всё

SELECT GOODS.NAME
FROM GOODS
WHERE (((GOODS.NAME) Like "*ТЕКСТ*"))
WITH OWNERACCESS OPTION;

Чтобы вставить это в код делаешь так:

DoCmd.RunSQL ну и далее в кавычках получившийся запрос.

Это если всавлять в код VBA в самой базе accessa, если ты пишешь отдельную программулю на VB, то можно, например, юзать рекордсет используемого коннекшена к базе (только не элемент дата, лучше юзай ADO или DAO). Так вот там у рекордсета выставлешь этот самый запрос в свойство sourse, как помню, и при открытии он тебе сразу возвращает результат твоего запроса. сама суть нечеткого поиска я тебе тоже вроде сказал надо писать слово в звездах, то есть: *ТЕКСТ*.
Хотя... неужели ты этого не знаешь . Мне кажется я что-то не так понял и говорю тебе совсем не то, что тебе надо .


Что касается быстроты поиска. То, естественно, он будет быстрее, если таблица не связанная, (то есть таблица именно этой mdb-хи а не связь, например, с dBase IV и т.п.).
Поиск быстрее, если он производится по индексному полю. Ну и, естественно, если ты делаешь выборку сразу по оочень многим полям, это тоже все замедляет, хотя таблица в 15000 это не так уж и много, даже для 20 полей. Поэтому поиск по ней за 30 секунд - это ооочень медленно, что-то у тебя не то или комп ооочень медленный .
В общем напиши конкретно. Сколько таблиц в запросе. Или примерно хотя бы суть запроса.
Возможно, тебе надо просто оптимизировать базу (то бишь перекроить немного ).

[alammi]

А что мешает сделать на крайняк обычный запрос в
...
таблиц в запросе. Или примерно хотя бы суть запроса.
Возможно, тебе надо просто оптимизировать базу (то бишь перекроить немного ).

1) Кроить ничего не буду. По-просту не имею права-так заказали
2) Ребятки я же сказал, только отличие на 1, максимум 2 буквы, а то что это за нечеткий поиск: Задал слово "412", а получил "12423412344122345345". Не-е-е- так не пойдет

[Andrey Fedorov]

перейти на MSDE -- по функционалу практически MSSQL, только работает на локальной машине. Зато бесплатный.

Вай - вот не знал что на локальной... Что он тогда у меня в сети делает? Вообще-то MS его рекомендует для небольших групп. У нас человек 20..30 юзеров на нем сидят...

Основное ограничение - размер базы в 2Gb.
Что нам вполне достаточно.

А для разработки (ну там всякие QA, EM, PM и пр. чтобы были) можно Developer версию купить - стоит всего несколько баксов. И все получается лицензионно!

[MOV]

2) Ребятки я же сказал, только отличие на 1, максимум 2 буквы, а то что это за нечеткий поиск: Задал слово "412", а получил "12423412344122345345". Не-е-е- так не пойдет

Все равно можно использовать такой вариант, а потом уже просто пробежаться по полученным записям и сравнить длину с длиной запрашиваемого слова +-2 символа. Хотя если слово состоит из одного символа.... бегать придется долго
Хотя, думаю, наверняка, должен быть в Sql способ с теми же звездами или еще с чем-то, чтобы +-2 символа

[Andrey Fedorov]

Да не надо ему SQL - человеку нужно элементарно открыть Recordset таблички которая у него в MDB и пробежаться по нему с готовой функцией на VB отобрав нужные записи. Вот только опыта у него нет как все это сделать...

[MOV]

Recordset таблички которая у него в MDB и пробежаться по нему с готовой функцией на VB отобрав нужные записи. Вот только опыта у него нет как все это сделать...

Да нахрена ему эта функция, если это может сделать SQL?
А если таблица на серваке и все начнут по ней бегать? Соревнование будет долгим . Хотя согласен, все равно рекордсет нужен но с SQL и выброси свою функцию

[codemaster]

Можно (чтобы остаться чистым душой и непорочным ) перейти на MSDE -- по функционалу практически MSSQL, только работает на локальной машине. Зато бесплатный.

Если не ошибаюсь MSSearch не дружит с MSDE
а следовательно и full-text индексов для поиска не построить

[Andrey Fedorov]

Да нахрена ему эта функция, если это может сделать SQL?

Из-за маленькой таблички с 15000 записями ставить MSSQL сервер - ну не маразм ли?

А если таблица на серваке и все начнут по ней бегать?

Что такое клиентский курсор знаем? Клиент один раз загружает Recordset к себе на машину (тем более в нем всего 15000 записей) и бегает по нему до конца рабочего дня в свое удовольствие. А так как все выполняется локально то и скорость будет не ниже чем на SQL-сервере.

Соревнование будет долгим . Хотя согласен, все равно рекордсет нужен но с SQL и выброси свою функцию

См. выше - SQL-сервер это не всегда выигрышь - а в данном случае он просто не нужен.

[MOV]

ставить MSSQL сервер - ну не маразм ли?

Во-первых таких табличек может быть пару сотен (как понял, база весит до 2Gb ). Поэтому почему бы и нет.
Во-вторых, я про SQL-сервер ничего не говорил. Речь шла об Access, VB и SQL, но не сервер, а просто язык SQL, то бишь структурированный язык запросов ну или язык структурированных запросов (не суть). Например, чтобы юзать ADO, применяя SQL-запросы, совсем не обязательно ставить сикуэль-сервер, да и вообще, ты в access как запросы делаешь (меня, лично, язык SQL вполне устраивает)?
Короче или ты меня не понял или путаешь название СУБД и название языка .

[Andrey Fedorov]

Во-первых таких табличек может быть пару сотен (как понял, база весит до 2Gb ).

Автор вопроса вроде четко сказал - одна табличка, около 15000 записей.

К этому письму я прикладываю небольшой примерчик реализации того что он хочет (с его функцией и тестовой базкой) - все что ему надо там есть...

Короче или ты меня не понял или путаешь название СУБД и название языка .

Ага - с базами и Basic я работаю уже лет 20, с SQL и VB - со времен 2-го Access-a

[codemaster]

См. выше - SQL-сервер это не всегда выигрышь - а в данном случае он просто не нужен.

Он нужен без него не работает MSSearch !
Что касается "нечеткого поиска" то проще и быстрее
сформировать запрос к MSSearch чем долбится с RS.

to Andrey Fedorov зайди на любой поисковик и посмотри как реализован "нечеткий поиск"

[Andrey Fedorov]

Он нужен без него не работает MSSearch !

Допустим вам продают маленькую программку - нечто вроде записной книжки, в которой 15000 записей (как у автора вопроса).
(мы ведь не знаем что он в итоге делает, согласись).

Будите ли вы гореть желанием ее использовать если вместе с ней требуется установить как миниум MSDE ???

Изначальный вопрос был про работу с MDB - на это и следует орентироваться, а не рекомендовать человеку из-за довольно пустячной проблемы начать решать ее с помощью MSSQL, согласись.

А то насоветовать можно разное, а в итоге оптимальным для данной задачи может быть хранение данных в бинарном файле, с загрузкой их в массив...

P.S. Сам я в основном работаю с MSSQL, но в отдельных задачах использую MDB-шки - что лучше использовать определяю по конкретной задаче.

[codemaster]

Он нужен без него не работает MSSearch !

Допустим вам продают маленькую программку - нечто вроде записной книжки, в которой 15000 записей (как у автора вопроса).
(мы ведь не знаем что он в итоге делает, согласись).

немного из тех. задания

как осуществлять нечеткий поиск в бд? База большая (~20 полей по 15000 записей), а поиск тормозить не должен-max 30 секунд!

человек явно хочет получить на выходе
нечеткий поиск по БД со всеми его прелестями :
сколнениями им. , созвучными симв и пр.

так при чем тут MDB ? Ну как начнем думать головой в сторону
выбора инструмента соответствующего задаче а ?

[MOV]

Andrey Fedorov пример работает медленно (P-4/ 2,6Ghz/ 512 Mb делает поиск в таблице (я увеличил ее до 15000 записей идобавил 17 полей, хотя выборка по одному, но все же.) за время от 3 секунд и дольше, а если базу по сетке юзать?:? - еще медленне будет, в то же время, если делать запросом в самой базе - практически мгоновенно - так что не переубедишь ).
Единственное хорошо - я тут только языком пока , а ты предлагаешь конкретный рабочий вариант.

[Andrey Fedorov]

Andrey Fedorov пример работает медленно

А это уже не ко мне - функция-то не моя.
15000 записей сами по себе просканируются достаточно быстро.

Да, а сетка или нет - в данном случае безразлично - отгадай почему

[MOV]

отгадай почему

Вопрос тупиковый adUseClient