Коды символов

[Алексей.Ф.]

Объясняем ещё раз.
Если приложить нам тестовый пример, и не полагаться на нашу телепатию, то дело сразу же пойдёт гораздо быстрее.

Я же привёл в предыдущем своём посте код, который работает с одними шрифтами и не работает с другими. Вот и пример. Или приложить полностью программу?

[Alexanbar]

Функция StrConv
StrConv(String,Conversion,[LocaleID])
Функция StrConv служит для преобразования всех символов строки в соответствии с заданным видом преобразования.В версии VB/VB 6 добавлены дополнительные возможности

Возвращаемое значение
Возвращает значение типа Variant (String), содержащее преобразованную строку

Параметры
Функция содержит именованные аргументы String Обязательный аргумент - строковое выражение, которое следует преобразовать
Conversion Обязательный аргумент - значение типа Integer, равное сумме констант, указывающих тип преобразования, которое следует выполнить. Смотри ниже
LocaleID Необязательный аргумент - локальный идентификатор, если отличается отличается от системного идентификатора. По умолчанию - локальный идентификатор

[tyomitch]

Объясняем ещё раз.
Если приложить нам тестовый пример, и не полагаться на нашу телепатию, то дело сразу же пойдёт гораздо быстрее.

Я же привёл в предыдущем своём посте код, который работает с одними шрифтами и не работает с другими. Вот и пример. Или приложить полностью программу?

Да. С каким-нибудь конкретным текстом заодно.

[Алексей.Ф.]

Функция StrConv
StrConv(String,Conversion,[LocaleID])
Функция StrConv служит для преобразования всех символов строки в соответствии с заданным видом преобразования.В версии VB/VB 6 добавлены дополнительные возможности

Возвращаемое значение
Возвращает значение типа Variant (String), содержащее преобразованную строку

Параметры
Функция содержит именованные аргументы String Обязательный аргумент - строковое выражение, которое следует преобразовать
Conversion Обязательный аргумент - значение типа Integer, равное сумме констант, указывающих тип преобразования, которое следует выполнить. Смотри ниже
LocaleID Необязательный аргумент - локальный идентификатор, если отличается отличается от системного идентификатора. По умолчанию - локальный идентификатор

Функция StrConv тоже ничего не решает.

[Алексей.Ф.]

Да. С каким-нибудь конкретным текстом заодно.

Вот часть текста, набранного шрифтом, с которым ничего не получается. Естественно, в коде программы, который я привёл, коды символов, которые нужно заменить, другие.

[Antonariy]

Охх, ну прям как дитё малое... Засунь документ в архив.

[Andrey Fedorov]

Вот часть текста, набранного шрифтом, с которым ничего не получается. Естественно, в коде программы, который я привёл, коды символов, которые нужно заменить, другие.

Кстати, а почему Word не может сохранить данный текст в текстовом файле? Такое впечатление что здесь текст содержит нескольких кодовых страниц... То бишь часть букв набрана в одной кодовой странице, а часть другой.

[Antonariy]

Код: Выделить всё

Dim r() As Byte
    r = StrConv(ThisDocument.Words(21).Text, vbUnicode)

Делишь массив на куски по 4 байта, конвертируешь каждый в long - вот тебе и юникод символа.

[alibek]

4 байта?

[Antonariy]

Кстати, а почему Word не может сохранить данный текст в текстовом файле?

Потому что не-латинская часть ASCII-набора у тебя русская, а не греческая, вот он и не может греческий юникод привести к не-греческому ASCII.

[Antonariy]

4 байта?

4 байта. Может, конечно, преобразование более другое, чем просто CopyMemory (хотя навряд ли), но 4 байта железно. Я специально выбрал 21е слово, в нем есть повторяющиеся символы, 4х-байтный паттерн четко прослеживается.

[tyomitch]

4 байта?

Конечно, 4 байта, раз Antonariy сконвертировал строку (уже в Юникоде) в "двойной Юникод". Только естественно, что эти 4 байта, приведённые к Long, никакому Юникод-коду соответствовать не будут.

А откуда вообще у Antonariy взялся ThisDocument? Вроде как у автора вопроса весь текст лежит в RichTextBox-е.

[Andrey Fedorov]

Ладно, а как это дело без Word-a ему одолеть - то бишь в RTF это дело перегоняется - текст он отображает, но в свойстве Text имеем явно не уникод...

[Andrey Fedorov]

А откуда вообще у Antonariy взялся ThisDocument? Вроде как у автора вопроса весь текст лежит в RichTextBox-е.

Автор дал пример текста в DOC-файле... Видимо оттуда.

[Antonariy]

Автор дал пример текста в DOC-файле... Видимо оттуда.

Угу.

Только естественно, что эти 4 байта, приведённые к Long, никакому Юникод-коду соответствовать не будут.

Конечно не будут, бес попутал

Первые два байта из этих 4х соответствуют младшим байтам (как правильно сказать?) юникода, вторые - старшим. Вот пример на 3м символе этого 21го слова. Ему соответствуют байты 177, 0, 3, 0. Переводим 3 и 0 в хекс, получаем 03; 177 и 0 соответственно B1. Код символа - U+03B1.

[Andrey Fedorov]

Вернемся к нашим баранам

Значит надо:

Имея на входе греческий DOC-файл (именно DOC - другого формата дать не могут?) получить строку содержащую его текст. Я правильно понимаю?

[Andrey Fedorov]

Первые два байта из этих 4х соответствуют младшим байтам (как правильно сказать?) юникода, вторые - старшим. Вот пример на 3м символе этого 21го слова. Ему соответствуют байты 177, 0, 3, 0. Переводим 3 и 0 в хекс, получаем 03; 177 и 0 соответственно B1. Код символа - U+03B1.

Э... А зачем это, если в Words и без того юникод?
То бишь запустив:

Код: Выделить всё

Private Sub Form_Load()
    Dim ss As String, m() As Byte, i As Long, s As String
   
    Dim wa As New Word.Application
    wa.Documents.Open "C:\Temp\T\Word.doc", True
   
    s = wa.Documents(1).Words(21).Text
    wa.Documents(1).Close False
    wa.Quit
       
    m = s
    For i = 0 To UBound(m) Step 2
        Debug.Print m(i + 1), m(i), Hex(m(i))
    Next i
End Sub


Имеем на выходе:

Код: Выделить всё

31            0            0
3             186          BA
3             177          B1
3             196          C4
3             177          B1
3             195          C3
3             186          BA
3             181          B5
31            123          7B
3             177          B1
3             195          C3
3             196          C4
3             191          BF
3             194          C2
0             32           20

[Antonariy]

С ричем возможно два решения - работать через Clipboard или через TextRTF.

Как быть с первым не знаю - через ctrl+c из него ничего в буфер не копируется. Если это как-то получится, то возможно в буфере окажется юникод, а не вопросительные знаки. Однажды делал конвертер шаблонов из Word Perfect в обычный ворд. В перфекте таблица сиволов отличается от виндовских, ТТ-шрифты прилагались соответствующие. ВБА, понятное дело, воспринял русский текст шаблонов как вопросительные знаки, но копирование этого текста в буфер и извлечение оттуда приводило к перекодировке в ASCII со сбитой таблицей русских символов. Подровнять осталось делом техники.

Что касается TextRTF, помучаем опять же 21е слово
Вот как выглядит его rtf-код:

Код: Выделить всё

{\rtf1\ansi\ansicpg1251\deff0{\fonttbl{\f0\froman\fprq2\fcharset204 Palatino Linotype;}{\f1\froman\fprq2\fcharset161 Palatino Linotype Greek;}{\f2\fnil\fcharset0 Palatino Linotype;}}
\viewkind4\uc1\pard\lang1049\f0\fs22\u7936?\f1\'ea\'e1\'f4\'e1\'f3\'ea\'e5\u8059?\'e1\'f3\'f4\'ef\'f2 \f2\fs17
\par }

Собственно коды символов начинаются после lang1049\f0\fs22\. Очевидно, что коды распознанных символов даны в ASCII, а нераспознанных в юникоде. Простейший способ отобрать такие символы - разбить строку разделителем \ и проверять обрезки через like "u*?". А потом пройтись реплейсом по TextRTF заменяя найденное на подходящие ASCII-коды.

[tyomitch]

Только естественно, что эти 4 байта, приведённые к Long, никакому Юникод-коду соответствовать не будут.

Конечно не будут, бес попутал

Первые два байта из этих 4х соответствуют младшим байтам (как правильно сказать?) юникода, вторые - старшим. Вот пример на 3м символе этого 21го слова. Ему соответствуют байты 177, 0, 3, 0. Переводим 3 и 0 в хекс, получаем 03; 177 и 0 соответственно B1. Код символа - U+03B1.

Юникод, он всё-таки двухбайтный. По крайней мере, в WinXP и ниже.
Ты своим кодом перевёл строку из Юникода в "двойной Юникод", и получил в своём массиве, в общем случае, бессмыслицу.
Перевод строки из String в юникодный байтовый массив делается простой операцией присваивания.

По поводу разбора TextRTF: так и не понял, на что предлагается заменять \u*.


К автору: вроде как поставленная цель -- получить частотный словарь юникодного текста. Зачем здесь вообще RichTextBox, Word и т.п. навороты? Недостаточно, что ли, просто положить текст в текстовый файл, и оттуда его читать напрямую?

[Andrey Fedorov]

К автору: вроде как поставленная цель -- получить частотный словарь юникодного текста. Зачем здесь вообще RichTextBox, Word и т.п. навороты? Недостаточно, что ли, просто положить текст в текстовый файл, и оттуда его читать напрямую?

Как я понял - тексты у него уже есть, причем они в Word, аналогичные приведенному. Ему надо поменять фонт текста - то есть сделать, к примеру тот-же Arial. Просто выделив в Word-e это не удается - попробуй, к примеру, поменять фонт 9-го символа того-же 21-го слова - ибо у него уенкод 1F7B - его надо заменить на 03CD, тогда все будет путем.

Автор - верно?

Через объектную модель Word все это нормально делается ибо в Words слова находятся в уенкоде...

[Antonariy]

По поводу разбора TextRTF: так и не понял, на что предлагается заменять \u*.

На ASCII-код (типа \'e1) со схожим начертанием. Хотя перечитываю задание автора и не понимаю, как он собирается анализировать текст на предмет частоты встречаемости слов, если он фактически меняет в словах буквы?.. Разве что этот анализ оторван от общего словаря.

[Konst_One]

У меня такой вопрос.
Имеется текст, на иностранном языке (греческом), набранный определённым шрифтом.
Чтобы этот текст правильно отображался в некотором приложении, необходимо поменять шрифт.

мы так и не узнаем, что это за некое приложение и что все-таки хочет сделать автор с этим текстом далее
и ,конечно , самое интересное: в каком формате (формате какого приложения: txt, doc, rtf, ...) был собственно создан и сохранен исходный документ, который мы хотим иссследовать

[Andrey Fedorov]

Недостаточно, что ли, просто положить текст в текстовый файл, и оттуда его читать напрямую?

Недостаточно При открытии того же греческого txt на русскоязычной винде все греческие символы заменятся вопросительными знаками. Проверено на немецких html.

Не - не так. Вся проблема в том что просто так в текстовый файл данный текст не удается - попробуйте присланный файл сохранить в текстовый выбрав греческую кодировку... Как я понимаю это именно из-за тех "нехороших символов" другой кодовой страницы что хочет заменить автор - ибо нельзя сохранить в текстовый файл текст содержащий символы разных кодовых страниц...

[Konst_One]

о чем и речь
непонятка с форматом хранения самого документа
узнаем формат - тогда уже можно и думать, что и как делать

[Andrey Fedorov]

мы так и не узнаем, что это за некое приложение и что все-таки хочет сделать автор с этим текстом далее и ,конечно , самое интересное: в каком формате (формате какого приложения: txt, doc, rtf, ...) был собственно создан и сохранен исходный документ, который мы хотим иссследовать

Да неважно в каком - я уже, кажись, понял что ему нужно - еще раз: у него есть куча файлов Word. В них ему надо просто-напросто поменять фонт, например на Arial, но это для некоторых символов элементарно не удается - попробуйте в выложенном файле. Чтобы все удалось он хочет просто поменять коды этих "нехороших" символов на соответствующие им по написанию символы греческой кодовой страницы.

Ответ на его вопрос - это можно сделать пользуясь объектной моделью Word и коллекцией Words - там эти символы в уенкоде, так что и проблем быть не должно.

[Antonariy]

Недостаточно, что ли, просто положить текст в текстовый файл, и оттуда его читать напрямую?

Недостаточно При открытии того же греческого txt на русскоязычной винде все греческие символы заменятся вопросительными знаками. Проверено на немецких html.

Не - не так. Вся проблема в том что просто так в текстовый файл данный текст не удается - попробуйте присланный файл сохранить в текстовый выбрав греческую кодировку... Как я понимаю это именно из-за тех "нехороших символов" другой кодовой страницы что хочет заменить автор - ибо нельзя сохранить в текстовый файл текст содержащий символы разных кодовых страниц...

Типа того.
Комплекс Каштанки - все понимаю, а сказать не могу.

[Andrey Fedorov]

Кстати, вот как я сделал замену на примере того-же 21-го слова

Код: Выделить всё

Option Explicit

Public Sub Main()
    Dim ss As String, m() As Byte, i As Long, s As String, bSave As Boolean
   
    Dim wa As New Word.Application
    wa.Documents.Open "C:\Temp\T\Word.doc"
   
    With wa.Documents(1).Words(21)
        s = .Text
        m = s
'        For i = 0 To UBound(m) Step 2
'            Debug.Print m(i + 1), m(i), Hex(m(i))
'        Next i
        For i = 0 To UBound(m) Step 2
            Select Case m(i + 1)
                Case 31
                    Select Case m(i)
                        Case 0
                            m(i + 1) = 3
                            m(i) = 172
                        Case 123
                            m(i + 1) = 3
                            m(i) = 205
                    End Select
            End Select
        Next i
        s = m
        If .Text <> s Then
            .Text = s
            .Font.Name = "Arial"
        End If
    End With
    wa.Documents(1).Save
    wa.Documents(1).Close False
    wa.Quit
End Sub


Ну и приложен файл с новым (вверху) и старым (внизу) текстом. 21-е слово выделено. Вверху уже фонт Arial и символы заменены на греческие. Их очертания, кстати, чуть отличаются...

[Andrey Fedorov]

А вообще - проблема, как я понял в том что в греческом (видимо в его красивом или полном варианте написания - как там по правильному мне неведомо) есть куча вариантов написания умляутов - в нашем (или во всех?) фонте Arial их просто нет - отсюда и приходится преобразовывать к более упрощенному. Ну или надо оставлять тот фонт что есть в документе (Palatino Linotype), если условия задачи позволяют, конечно...

Интересно, а как сами греки решают данную проблему импорта подобного текста в txt-файл с одной кодовой страницей (вроде это должно быть возможно). То бишь преобразование своих расширенных умляутов...

[CodeName33]

А вообще Юникод можно получить через Clipboard. В приложенном примере так и делается, я на всякий случай сделал чтобы через RichTextBox, но если в него текст встявляется из буфера, а не грузится из файла, то можно и без него обойтись.

[Алексей.Ф.]

К автору: вроде как поставленная цель -- получить частотный словарь юникодного текста. Зачем здесь вообще RichTextBox, Word и т.п. навороты? Недостаточно, что ли, просто положить текст в текстовый файл, и оттуда его читать напрямую?

Как я понял - тексты у него уже есть, причем они в Word, аналогичные приведенному. Ему надо поменять фонт текста - то есть сделать, к примеру тот-же Arial. Просто выделив в Word-e это не удается - попробуй, к примеру, поменять фонт 9-го символа того-же 21-го слова - ибо у него уенкод 1F7B - его надо заменить на 03CD, тогда все будет путем.

Автор - верно?

...

Всё верно. Но, как узнать, какой код у какаго символа??? Прошу прощения, я некоторое время не мог отвечать (а, главное, спрашивать), из-за большого дефицита времени.