Полезные ссылки из оупенсорса

[Сергей Горбачевский]

Автоматическое определение кодировки текста - Просмотр ссылок доступен только зарегистрированным пользователям

Автоматическое определения языка текста:

NTextCat - Просмотр ссылок доступен только зарегистрированным пользователям

Compact Language Detector 2(CLD2) - Просмотр ссылок доступен только зарегистрированным пользователям

Compact Language Detector v3 (CLD3) - Просмотр ссылок доступен только зарегистрированным пользователям

Доводы в пользу довольно старого CLD2:

быстрее аналогов (~200 док/c);
не уступает по качеству определения другим библиотекам;
возвращает проценты и блоки языков (начало и конец языкового фрагмента в тексте);
можно задавать ожидаемые языки; имея такую подсказку, определитель работает лучше, но это не значит, что он ограничится только этим списком;
есть C# обертка и положительный опыт использования;
поддерживает довольно много языков (более 80)