Wie wird die Kodierung von Textdateien automatisch erkannt?

Versuchen Sie das Python-Modul chardet , das auf PyPi verfügbar ist:

pip install chardet

Dann führen Sie chardetect myfile.txt aus.

Chardet basiert auf dem von Mozilla verwendeten Erkennungscode , sollte also vernünftige Ergebnisse liefern, vorausgesetzt, der Eingabetext ist lang genug für eine statistische Analyse. Lesen Sie bitte die Projektdokumentation .

Wie in den Kommentaren erwähnt, ist es ziemlich langsam, aber einige Distributionen liefern auch die originale C++-Version aus, wie @Xavier in https://superuser.com/a/609056 gefunden hat. Es gibt auch irgendwo eine Java-Version.

Unter Debian-basiertem Linux bietet das Paket uchardet (Debian ](https://packages.qa.debian.org/u/uchardet.html) / Ubuntu ) ein Kommandozeilenwerkzeug. Siehe unten die Paketbeschreibung:

universal charset detection library - cli utility
 .
 uchardet is a C language binding of the original C++ implementation
 of the universal charset detection library by Mozilla.
 .
 uchardet is a encoding detector library, which takes a sequence of
 bytes in an unknown character encoding without any additional
 information, and attempts to determine the encoding of the text.
 .
 The original code of universalchardet is available at
 http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet
 .
 Techniques used by universalchardet are described at
 http://www.mozilla.org/projects/intl/UniversalCharsetDetection.html

Für Linux gibt es enca und für Solaris können Sie auto_ef verwenden.

Mozilla hat eine schöne Codebasis für die automatische Erkennung in Webseiten: http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet/src/

Detaillierte Beschreibung des Algorithmus: http://www-archive.mozilla.org/projects/intl/UniversalCharsetDetection.html

Für diejenigen, die regelmäßig Emacs benutzen, könnte das folgende nützlich sein (erlaubt es, die Transfomation manuell zu überprüfen und zu validieren).

Außerdem finde ich oft, dass die Emacs-Zeichensatz-Auto-Erkennung viel effizienter ist als die anderen Zeichensatz-Auto-Erkennungs-Tools (wie chardet).

(setq paths (mapcar 'file-truename '(
 "path/to/file1"
 "path/to/file2"
 "path/to/file3"
)))

(dolist (path paths)
  (find-file path)
  (set-buffer-file-coding-system 'utf-8-unix)
  )

Ein einfacher Aufruf von Emacs mit diesem Skript als Argument (siehe die Option “-l”) erledigt dann die Arbeit.

isutf8 (aus dem Paket moreutils) erledigte die Aufgabe

Zurück zu chardet (python 2.?) könnte dieser Aufruf ausreichen:

python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())' < file
{'confidence': 0.98999999999999999, 'encoding': 'utf-8'}

Obwohl es weit von perfekt…. entfernt ist

echo "öasd" | iconv -t ISO-8859-1 | python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())'
{'confidence': 0.5, 'encoding': 'windows-1252'}

UTFCast ist einen Versuch wert. Hat bei mir nicht funktioniert (vielleicht weil meine Dateien schrecklich sind), aber es sieht gut aus. http://www.addictivetips.com/windows-tips/how-to-batch-convert-text-files-to-utf-8-encoding/

Auch für den Fall, dass Sie Datei -i gibt Ihnen unbekannt

Sie können diese php-Befehl, der Zeichensatz wie unten erraten kann verwenden:

In php können Sie wie folgt prüfen:

Explizite Angabe der Kodierungsliste :

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

Genauer “ mb_list_encodings”:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Hier im ersten Beispiel können Sie sehen, dass ich eine Liste von Kodierungen angegeben habe (Reihenfolge der Liste erkennen), die übereinstimmen könnten. Um ein genaueres Ergebnis zu erhalten, können Sie alle möglichen Kodierungen über : mb_list_encodings()

Hinweis mb_* Funktionen benötigen php-mbstring

apt-get install php-mbstring

Siehe Antwort : https://stackoverflow.com/a/57010566/3382822