Определение кодировки

[alexanderz]

Подскажите как определить кодировку текста. Если ответите готовым примером - буду обязан.
Заранее пасиба.

[GSerg]

- А зачем тебе подпрограмма, перехватывающая прерывания?
- Где? Это? А, это цитата из Лао Цзы в альтернативной кодировке!

[Faust]

Частотный анализ? Поищи по форуму, вопрос поднимался не раз и не два.

[alexanderz]

Млин. Вот поискать-то я и не могу - инет дорогой. :'(

[Alexander N. Samarin]

Берем первую кодировку, переводим, спрашиваем у юзера "Эта??", если нет - берем следующую и т. д.

[Faust]

Берем первую кодировку, переводим, спрашиваем у юзера "Эта??", если нет - берем следующую и т. д.

Жестоко...

Млин. Вот поискать-то я и не могу - инет дорогой. :'(

Вкратце суть частотного анализа состоит в следущем: открываем файл в Binary и подсчитываем, сколько байт имеют заданное значение. Для каждой кодировки характерен свой частотный рисунок.

[alexanderz]

Берем первую кодировку, переводим, спрашиваем у юзера "Эта??", если нет - берем следующую и т. д.

Млин... Так что, до Unicode'a??? Это же порядком 65000 кодировок

[Jenizix]

Определение кодировки русского текстра.
Определение кодировки текста

Код: Выделить всё


'пpовеpяем тип кодиpовки ANSI или ASCII

'беpем пеpвые 1000 байт еcли это возможно. Hевозможно - меньше.
l& = Len(rtbView.Text)
If l& > 1000 Then l& = 1000
'копиpyем yчаcток текcта из RichTextBox в пеpеменнyю, иначе тоpмоз обеcпечен
s$ = Left$(rtbView.Text, l&)
'обнyляем флажки
fdo% = 0
fwo% = 0
'пpоcматpиваем кycок текcта
For n% = 1 To l&

'вытаcкиваем очеpедной cимвол
c$ = Mid$(s$, n%, 1)
'еcли это pyccкая "о" в DOS кодиpовке то инкpементиpyем cчетчик
If c$ = Chr$(174) Then fdo% = fdo% + 1
'еcли это pyccкая "о" в Win кодиpовке то инкpементиpyем cчетчик
If c$ = Chr$(238) Then fwo% = fwo% + 1

Next

'ycтанавливаем в конфиге тип пpоcмотpа по дефолтy
If fdo% > fwo% Then 'это явно ДОC-текcт
Else 'это явно Win-текcт



Я пpобовал c деcяток текcтов. Ошибcя он на одном файле (напиcал что
Win-кодиpовка, хотя это ДОC) - autoexec.bat.
Да и то в нем pyccкого ничего небыло.

Да на больших файлах опpеделение безошибочно, даже еcли там кyча пcевдогpафики.
Hа маленьких (меньше 50 байт) возможны глюки, еcли бyква "о" не вcтpечаетcя,
или вcтpечаетcя меньше чем "ю". Т.е. еcли файл cоcтоит из текcта:
"Хэппи бёздей тy ю"
то он выдаcт что это Win кодиpовка ("о" нет, а "ю" он пpимет за Выневcкyю "о".)