файла - c# узнать кодировку строки

Как я могу определить кодировку/кодовую страницу текстового файла (14)

В нашем приложении мы получаем текстовые файлы ( .txt , .csv и т. Д.) Из разных источников. При чтении эти файлы иногда содержат мусор, потому что файлы, созданные в другой / неизвестной кодовой странице.

Есть ли способ (автоматически) определить кодовую страницу текстового файла?

Функция detectEncodingFromByteOrderMarks в конструкторе StreamReader работает для UTF8 и других отмеченных в Unicode файлов, но я ищу способ обнаружения кодовых страниц, таких как ibm850 , ibm850 .

Спасибо за ваши ответы, вот что я сделал.

Файлы, которые мы получаем, от конечных пользователей, они не имеют понятия о кодовых страницах. Приемники также являются конечными пользователями, и теперь это то, что они знают о кодовых страницах: Codepages существуют и раздражают.

Решение:

Откройте полученный файл в «Блокноте», посмотрите на искаженный фрагмент текста. Если кого-то зовут Франсуа или что-то, с вашим человеческим интеллектом, вы можете это догадаться.
Я создал небольшое приложение, которое пользователь может использовать для открытия файла, и введите текст, который пользователь знает, что он появится в файле, когда используется правильная кодовая страница.
Прокрутите все кодовые страницы и отобразите те, которые дают решение с предоставленным пользователем текстом.
Если по мере появления одной кодовой страницы попросите пользователя указать больше текста.

Вы не можете определить кодовую страницу

Это явно неверно. Каждый веб-браузер имеет какой-то универсальный детектор штриховок для обработки страниц, которые не имеют никаких указаний на кодировку. У Firefox есть одно. Вы можете загрузить код и посмотреть, как он это делает. См. Некоторые документы here . В принципе, это эвристический, но тот, который работает очень хорошо.

Учитывая разумный объем текста, даже можно определить язык.

Вот еще один, который я нашел с помощью Google:

10Y (!) Прошло с тех пор, как это было задано, и все же я не вижу упоминания о хорошем, отличном от GPL решении IMultiLanguage2 : IMultiLanguage2 API.

Большинство упомянутых библиотек основаны на UDE Mozilla - и кажется разумным, что браузеры уже справились с подобными проблемами. Я не знаю, что такое хром-решение, но поскольку IE 5.0 MS выпустили их, и это:

Без GPL-и-подобных проблем лицензирования,
Поддерживаемые и поддерживаемые, вероятно, навсегда,
Дает богатый результат - все действующие кандидаты на кодирование / кодовые страницы вместе с оценками доверия,
Удивительно проста в использовании (это вызов одной функции).

Это родной COM-вызов, но здесь есть очень хорошая работа Карстена Зеймера, которая обрабатывает беспорядок обмена для использования .net. Есть и другие, но в целом эта библиотека не получает внимания, которого она заслуживает.

Вы не можете обнаружить кодовую страницу, вам нужно сказать об этом. Вы можете анализировать байты и угадывать их, но это может дать некоторые странные (иногда забавные) результаты. Я не могу найти его сейчас, но я уверен, что Блокнот можно обмануть, показывая английский текст на китайском языке.

В частности, Джоэл говорит:

Самый важный факт о кодировании

Если вы полностью забудете все, что я только что объяснил, помните один чрезвычайно важный факт. Не имеет смысла иметь строку, не зная, какую кодировку она использует. Вы больше не можете засунуть голову в песок и притвориться, что «простой» текст - ASCII. Нет такой вещи, как обычный текст.

Если у вас есть строка, в памяти, в файле или в сообщении электронной почты, вы должны знать, в какой кодировке она находится, или вы не можете ее интерпретировать или правильно отобразить.

Если вы хотите обнаружить кодировки, отличные от UTF (т. Е. Без спецификации), вы в основном используете эвристику и статистический анализ текста. Возможно, вы захотите взглянуть на документ Mozilla на универсальное обнаружение кодировки ( та же ссылка, с лучшим форматированием через Wayback Machine ).

Если кто-то ищет решение на 93,9%. Это работает для меня:

Как аддон к сообщению ITmeze, я использовал эту функцию для преобразования вывода порта C # для универсального детектора Mozilla Universal Charset Detector

Конструктор класса StreamReader принимает параметр «обнаружить кодирование».

Получил ту же проблему, но не нашел хорошего решения, но обнаружил его автоматически. Теперь я использую PsPad (www.pspad.com) для этого;) Хорошо работает

Поскольку это в основном сводится к эвристике, это может помочь использовать кодировку ранее полученных файлов из того же источника, что и первый намек.

Большинство людей (или приложений) делают вещи практически в одном и том же порядке каждый раз, часто на одной машине, поэтому вполне вероятно, что, когда Боб создает CSV-файл и отправляет его в Mary, он всегда будет использовать Windows-1252 или независимо от того, на что его машина по умолчанию.

По возможности немного тренировок клиентов никогда не повредит :-)

Я действительно искал общий, а не программный способ обнаружения кодировки файлов, но пока этого не нашел. То, что я обнаружил при тестировании с разными кодировками, заключалось в том, что мой текст был UTF-7.

Итак, где я впервые делал: StreamReader file = File.OpenText (fullfilename);

Мне пришлось изменить его на: StreamReader file = new StreamReader (fullfilename, System.Text.Encoding.UTF7);

OpenText предполагает, что это UTF-8.

вы также можете создать StreamReader, как этот новый StreamReader (fullfilename, true), второй параметр означает, что он должен попытаться обнаружить кодировку из byteordermark файла, но это не сработало в моем случае.

Я знаю, что очень поздно для этого вопроса, и это решение не понравится некоторым (из-за его предвзятости по английскому языку и его отсутствию статистического / эмпирического тестирования), но он очень хорошо работает для меня, особенно для обработки загруженных CSV-данных:

Встроенное обнаружение спецификации
Настройка по умолчанию / резервное кодирование
довольно надежный (по моему опыту) для западно-европейских файлов, содержащих некоторые экзотические данные (например, французские имена) со смесью файлов UTF-8 и Latin-1 - в основном основная часть американской и западной европейской сред.

Примечание: Я тот, кто написал этот класс, поэтому, очевидно, возьмите его с солью! :)

Я сделал что-то подобное в Python. В принципе, вам нужно много выборочных данных из разных кодировок, которые разбиваются на скользящее двухбайтовое окно и хранятся в словаре (хэш), на основе байтовых пар, предоставляющих значения списков кодировок.

Учитывая этот словарь (хэш), вы берете текст ввода и:

если он начинается с любого символа спецификации ('\ xfe \ xff' для UTF-16-BE, '\ xff \ xfe' для UTF-16-LE, '\ xef \ xbb \ xbf' для UTF-8 и т. д.), I относиться к нему как к предложению
если нет, то возьмите достаточно большой образец текста, возьмите все байтовые пары образца и выберите кодировку, которая является наименее распространенной из словаря.

Если вы также выбрали UTF-кодированные тексты, которые не запускаются с какой-либо спецификацией, второй шаг будет охватывать те, которые проскальзывали с первого шага.

Пока это работает для меня (образцы данных и последующие входные данные являются субтитрами на разных языках) с уменьшением частоты ошибок.

Notepad++ имеет эту функцию из коробки. Он также поддерживает его изменение.

📎📎📎📎📎📎📎📎📎📎