Коды символов

[Алексей.Ф.]

По поводу разбора TextRTF: так и не понял, на что предлагается заменять \u*.

На ASCII-код (типа \'e1) со схожим начертанием. Хотя перечитываю задание автора и не понимаю, как он собирается анализировать текст на предмет частоты встречаемости слов, если он фактически меняет в словах буквы?.. Разве что этот анализ оторван от общего словаря.

Мне надо проанализировать текст на предмет частоты встречаемости слов. Но, как анализировать слова, если часть букв, из которых состоят эти слова не читается? Программок, которые составляют частотные словари полно, но, ни одна из них не может проанализировать текст, набранный некоторыми шрифтами на некоторых языках. Приведённый пример с греческим языком и фонтом Palatino linotip, только частный случай.

[tyomitch]

В каком виде, на самом деле, исходный текст? Именно Word?
И это действительно Бытие, или оно приведено только для примера? (Потому что для него нормально набранный текст найти проще простого.)

[Алексей.Ф.]

В каком виде, на самом деле, исходный текст? Именно Word?
И это действительно Бытие, или оно приведено только для примера? (Потому что для него нормально набранный текст найти проще простого.)

В принципе, пока нужна только Библия целиком, в дальнейшем и др. тексты. Исходный текст вообще в виде html-файла, отображаемого одним приложением, но есть и в Word'e. Есть и другими шрифтами. Но с теми шрифтами та же заморочка. С ударениями найти тескт набранный нормальным шрифтом сложно. Во-вторых, как быть с другими языками (иврит, например)?

[tyomitch]

Исходный текст вообще в виде html-файла, отображаемого одним приложением, но есть и в Word'e. Есть и другими шрифтами. Но с теми шрифтами та же заморочка. С ударениями найти тескт набранный нормальным шрифтом сложно.

Не вижу связи между наличием ударений в тексте и шрифтом, которым этот текст набран. (Вообще до сих пор не могу понять, при чём здесь шрифты. Поменял в прикреплённом файле шрифт на Arial -- всё на месте. Поменял на Courier New -- опять всё в порядке. А где же подвох?)
Можно, например, сохранить весь этот же текст (безо всяких шрифтов) в юникодном плейнтекстовом файле. Хотя бы скопировав его в Блокнот.
И потом работать уже с этим текстовым файлом без Ворда и без RTB.
Подходит?

[Andrey Fedorov]

Всё верно. Но, как узнать, какой код у какаго символа??? Прошу прощения, я некоторое время не мог отвечать (а, главное, спрашивать), из-за большого дефицита времени.

Ну посмотри же мой последний кусок кода, который я давал - там как раз это и было показано на примере 21-го слова - в нем узнается уникод, производится замена...

[Andrey Fedorov]

Не вижу связи между наличием ударений в тексте и шрифтом, которым этот текст набран.

Ну, скажем, эти "ударения" отображаются в тексте. То есть в фонте есть символы с поставленными "ударениями". И в стандартных шрифтах им нет соответствия. Коды символов с "ударениями", само-собой другие... Их и требуется заменить на нормальные.

(Вообще до сих пор не могу понять, при чём здесь шрифты. Поменял в прикрепленном файле шрифт на Arial -- всё на месте. Поменял на Courier New -- опять всё в порядке. А где же подвох?)

Подвох в том что у некоторых символов фонт не меняется. Подвигайся по тексту курсором - увидишь.

[tyomitch]

Ну, скажем, эти "ударения" отображаются в тексте. То есть в фонте есть символы с поставленными "ударениями". И в стандартных шрифтах им нет соответствия. Коды символов с "ударениями", само-собой другие... Их и требуется заменить на нормальные.

На нормальные -- это на без ударений, что ли?
По-твоему, автору хочется удалить из текста все ударения?
Не сходится с тем, что "С ударениями найти тескт набранный нормальным шрифтом сложно."

(Вообще до сих пор не могу понять, при чём здесь шрифты. Поменял в прикрепленном файле шрифт на Arial -- всё на месте. Поменял на Courier New -- опять всё в порядке. А где же подвох?)

Подвох в том что у некоторых символов фонт не меняется. Подвигайся по тексту курсором - увидишь.

Правильно, потому что в Arial всей этой политоники нету. А в Tahoma, например, есть. Если менять на Tahoma, шрифт у всех букв заменится. Это, по-твоему, означает, что у Tahoma тоже нестандартная кодировка?

[Andrey Fedorov]

Правильно, потому что в Arial всей этой политоники нету. А в Tahoma, например, есть. Если менять на Tahoma, шрифт у всех букв заменится. Это, по-твоему, означает, что у Tahoma тоже нестандартная кодировка?

Вопрос был собственно не в том как поменять фонт, а как определить уенкоды таких символов и заменить их на "без ударений". То бишь получить все в одной кодовой странице. Тогда и фонт поменяется без проблем...

[tyomitch]

По-твоему, автор (с таким трудом) нашёл текст с ударениями именно для того, чтобы эти ударения из него вычистить?

Если действительно нужно именно это, готовая Септуагинта без ударений лежит на http://www.septuagint.org/LXX/Genesis/Genesis1.html

[Алексей.Ф.]

Не вижу связи между наличием ударений в тексте и шрифтом, которым этот текст набран.

Ну, скажем, эти "ударения" отображаются в тексте. То есть в фонте есть символы с поставленными "ударениями". И в стандартных шрифтах им нет соответствия. Коды символов с "ударениями", само-собой другие... Их и требуется заменить на нормальные.

Естественно, что дело не в ударениях, а в том, как правильно заметил Андрей, что некоторым символам нет соответствия в других шрифтах, и что программы, которые составляют частотные словари правильно отображают почему-то далеко не все шрифты.
Но, я уже не буду возиться с заменой символов, а постараюсь сделать свою прогу для анализа текста на частоту встречаемости в нём слов.

В связи с этим другой вопрос, может не совсем по теме: кто может предложить алгоритм для такой программки?

[tyomitch]

Я могу предложить сразу реализацию, один-в-один скатанную из книги Вирта.
Что любопытно, проверял я её тоже на Библии, правда на английской
Алгоритм -- самобалансирующееся дерево.
Писалось весной 2003 г. к какой-то олимпиаде.

[Алексей.Ф.]

Я могу предложить сразу реализацию, один-в-один скатанную из книги Вирта.
Что любопытно, проверял я её тоже на Библии, правда на английской
Алгоритм -- самобалансирующееся дерево.
Писалось весной 2003 г. к какой-то олимпиаде.

Почему-то у меня вместо файла открывается страница с сообщением, что у меня нет права скачивать или открывать этот файл!!!

[tyomitch]

Ну что мне его, в мыло скинуть, что ли?

[Алексей.Ф.]

Ну что мне его, в мыло скинуть, что ли?

Скинь, пожалуйста.

[tyomitch]

Ну тогда дай его
Аттач-то точно не качается? Я вот проверил, у меня качается.

[Алексей.Ф.]

Ну тогда дай его
Аттач-то точно не качается? Я вот проверил, у меня качается.

Раз 10 проверил, в любой теме форума пробую скачать прикреплённые файлы, скачивается не файл, а страница форума, где написано, что у меня нет прав открывать или просматривать данный файл.
Мыло отправляю в личные сообщения.