Компания MTS AI выпустила открытую большую языковую модель (LLM) под названием Cotype Nano для решения бизнес-задач, связанных с созданием и анализом текстов на русском языке. Разработчики раскрыли её характеристики и предоставили всем желающим доступ к новому ИИ для ознакомления с его возможностями.

Модель можно запускать локально на персональных устройствах — мобильных телефонах, настольных компьютерах и ноутбуках со средней производительностью, что делает её доступной для широкого круга пользователей. Веса модели — параметры, которые используются ей для принятия решений, открыты для исследователей и разработчиков. Это позволяет им изучать, как модель работает, настраивать её под свои нужды и использовать в собственных проектах без необходимости строить всё с нуля.

«MTS AI придерживается принципов открытости и прозрачности в разработке генеративного искусственного интеллекта. Мы запускаем открытую большую языковую модель с лицензией на использование в коммерческих целях и разрабатываем новые сервисы для автоматического обучения нейросетей и создания кода, которые ускорят процесс разработки. Развитие открытых LLM-моделей в России позволит компаниям и начинающим разработчикам и исследователям создавать решения на основе нейросетей, не вкладывая значительные ресурсы в разработку и оборудование», — отметил директор по LLM-продуктам MTS AI Сергей Пономаренко.

По заявлению разработчиков, ИИ-модель продемонстрировала лучшие результаты в своём классе на бенчмарке Ru Arena Hard — первой в России открытой независимой платформы для оценки LLM-моделей на русском языке. В рамках тестирования оценивается точность, качество и релевантность ответов на вопросы пользователей по сравнению с другими моделями. Cotype Nano способна обрабатывать контекст до 32 000 токенов (около 45 страниц текста) за раз, что позволяет работать с большими объёмами данных.

Модель обучена для создания контента, точных и быстрых переводов между русским и английским языками, обработки и анализа текстовых данных для улучшения клиентского сервиса и может быть использована для разработки чат-ботов и виртуальных помощников. Кроме того, она обладает продвинутыми возможностями классификации данных — это необходимо для таких сценариев, как автоматический поиск и анализ информации в корпоративных базах знаний.

Cotype Nano оптимизирована для работы на CPU и GPU, с дополнительной оптимизацией под процессоры Intel, что позволяет запустить её на ноутбуках и даже смартфонах и делает модель доступной для широкого круга разработчиков и компаний, у которых нет доступа к мощным вычислительным ресурсам.

Cotype Nano содержит 1,5 миллиарда параметров. MTS AI обучила модель на инструктивных датасетах, включающих компьютерный код, математику и синтетические данные. Скорость инференса — обработки текста и выдачи результатов — Cotype Nano составляет около 190 токенов в секунду на графическом процессоре Nvidia A100 и 9,5 токенов в секунду на смартфоне с процессором Qualcomm Snapdragon 8 Gen 2. Модель основана на архитектуре трансформера Qwen 2.5 и совместима с популярными фреймворками для инференса, такими как VLLM, OpenVINO и Hugging Face.

Скачать ИИ-модель можно на сайте HuggingFace.