Определение UTF-8

[13GHOST]

Вот столкнулся с такой проблемой. Надо определить кодировку текста является ли она UTF-8 для того чтобы узнать надо ее конвертировать или нет. как можно это определить?

[alibek]

По первым двум байтам файла.

[13GHOST]

да у меня не файл,у меня данные по сети приходят в виде строки

[alibek]

Тогда статистический анализ.

[13GHOST]

а где нибудь алгоритм анализа есть?

[alibek]

Можешь взять несколько текстов, сохранить их в разных кодировках и самостоятельно составить таблицы распределений.

[tyomitch]

IsTextUnicode

[13GHOST]

посомтрел код перевода текста в UTF-8 и примерно набросал фукнцию определения. Т е она перебирает все символы и если она встречает пару символом удовлетворяющих (побитно) символу в UTF-8 она возвращает true. Вот не знаю корректно ли это?

Код: Выделить всё

Public Function IsUTF8(ByVal Text As String) As Boolean
Dim i As Long
Dim lngChar As Long
For i = 1 To Len(Text)
    lngChar = Asc(Mid$(Text, i, 1))
    If (lngChar And &HC0) = &HC0 Then
        i = i + 1
        If i > Len(Text) Then Exit For
        lngChar = Asc(Mid$(Text, i, 1))
        If (lngChar And &HE0) = &H80 Then
            IsUTF8 = True
            Exit Function
        End If
    End If
Next i
IsUTF8 = False
End Function

[13GHOST]

IsTextUnicode как то не понятно работает. Иногда работает иногда нет. Например говорит, что "йцвйцв" это не UTF-8