Серьезный вопрос про строки

[|kerish|]

Даны 2 похожие строки.

К примеру:

1) "Вася пошел собирать грибы."
2) "Пошел вчера Вася грибы собирать."

Внимание, вопрос:
Как выяснить, что они похожи.
Не нужно на сколько процентов, а просто примерно схожи или нет.

Вопрос сложный, но может есть варианты?

[BV]

Разделить строку на слова. Потом сравнивать. Нужно составить страницу шаблонов лексики и под такие шаблоны подставить имеющиеся слова. Совпало на 70% и более - значит то.

[BV]

Поясню: под шаблонами лексики я имел ввиду возможные вариации предложений с одними и теми же словами. Напр. %1 %3 %5 %6; %6 %3 %5 %2 %1; ну и т.д. Если не ошибаюсь, то именно так работают современные подобия ИИ, например тот же "Болтун".

[|kerish|]

Дело в том, что в поставленной задаче будут менятся абсолютно разные предложения.
И нужно будет каждый раз эти 2 предложения сравнивать на похожесть...

[Ariman]

|kerish|
А почему тебя не устроит нахождение(в процентах) количества слов первого предложения, присутствующего во втором?
А при сравнении будешь задавать процентную точность, при каком количестве процентов считать фразы схожими....
А вообще, "схожеть" - это довольно размытое понятие... Я вон набью в случайном порядке слова из фразы 1, и компьютер, посчтитает, что этот набор слов - схожая фраза....... А по смыслу сравнивать это..... Тяжеловато....
А тебе для чего? Тут, ИМХО, от нужд зависит....
Может хватить первого варианта, с процентами, а может и нет....

[|kerish|]

С процентами тоже прокатит...

[marvan]

2 kerish
тебе сюда. Здесь есть статьи по теме.
а вообще два варианта:
простой - парсить строку по спец символам и работать с двумя массивами слов
сложный - абстагироваться от того, что надо сравнить два текста и искать схожесть двух байтовых последовательностей. И ещё, не плохо, задать разный вес для байтов, соответствующих заглавным и строчным буквам, цифрам и символам.

[Ariman]

marvan
Это в итоге привидет к одному и тому же. К простому поиску количества частей(не будем говорить "слов", можно и слогов, букв и т.д. ) первой строки, присутствующей во второй.
А это не всегда устраивает - пример я уже показал: берем первую строку, переставляем слова до полной бессмыслицы, скармливаем программе - она с радостью сообщает о похожести........

Другое дело, сравнивать по смыслу.... Но это уже пересекается с ИИ чата, который так рьяно предлагал BV

[BV]

2 Ariman

Да ...
Ну так вот Начнём! На |kerish| будет лежать разработка общения ИИ...

[marvan]

2 BV
Если предметная область, к которой относятся анализируемые строки не велика - можно и по смыслу.
Но всё равно придётся париться с морфологическим и синтаксическим анализом.

[SHURUP]

… берем первую строку, переставляем слова до полной бессмыслицы, скармливаем программе - она с радостью сообщает о похожести........

Более того, получается, что фразы:
1) "Вася пошел собирать грибы."
2) "Вася НЕ пошел собирать грибы."
практически совпадают по словам, но имеют абсолютно противоположный смысл...

[Amed]

Вопросы смысловой и лексической схожести диаметрально противоположны. Что нужно аффтару? Чтобы сравнение строк

1) "Вася пошел собирать грибы."
2) "Вася НЕ пошел собирать грибы."

давало около 100% или около 0%?

[xolod]

Что-то меня наводит на мысль о первом. Потому что второе - просто архисложная задача.

[vvs_adm]

Что-то меня наводит на мысль о втором. Потому что первое - просто архисложная задача.

А меня что-то наводит на мысль, что ты первое со вторым перепутал

[xolod]

Есть такое дело

[Sasha_karasov]

Глянь на задачниках по информатике (олимпиадные задачи).
Я просто с подобной задачей встречался где-то.