Для этого несколько недель обучали нейросеть GPT-2 на трёх датасетах: комментариях пользователей vc.ru, TJournal и DTF. Так появился «Нейротекст», который может написать или дописать комментарий.

Когда выгрузили все комментарии с трёх сайтов, то получилось 1,8 Гб текста. Но это сырые данные, которые нельзя было использовать. Поэтому датасеты пришлось отфильтровать: убрать лишние символы и ссылки, исключить комментарии из нескольких символов — скорее всего, ничего хорошего с ними бы не вышло.

Затем каждый датасет разбили на «токены», на которых построены предложения. На их основе нейронная сеть собрала свой словарь. С ним она теперь и будет работать, генерируя комменты за людей.

Тренировка нейросети на каждом датасете заняла пять дней, а делали всё это на этом звере — Nvidia Quadro RTX 6000.

Получилось так себе, бессмысленные тексты в духе киевстаровской Зоряны. Но если не знать, что написала железяка, то можно воспринять за человека. Особенно короткие фразы.

Укроботы останутся без работы

Да нормально они работают

То может уже нейронка?