Задача: У Пети всего 28 одноклассников. У каждых двух из 28 различное число друзей в этом классе. Сколько друзей у Пети?

Решение начинается с того, что в классе 29 человек. И дальше из класса "выводятся" пары одноклассников с максимальным и минимальным количеством друзей. И в каждой паре ровно один петин друг. Таких пар 14, соответственно друзей 14.

Chat GPT сказал, что ему нужны дополнительные условия, хотя раньше насчитывал 27 друзей, Claude насчитал 26 друзей.

Это ещё раз подтверждает тезис, что пока в AI нет интеллекта, а есть большие модели из линейной алгебры. И в этом принципиальная разница с работой человеческого мозга. Да и с потреблением энергии тоже.

Самое потешное это то, где Perplexity нашёл ответы.

И тут подъехало исследование Массачусетского технологического института. Исследователи Массачусетского технологического института пришли к выводу, что генеративные модели, такие как GPT компании OpenAI, хотя и могут создавать осмысленные выражения, в действительности не понимают реальный мир и его закономерности. Эти модели впечатляют в предсказании текста, однако при столкновении с изменениями в реальных задачах, например, в навигации или играх с правилами, они ошибаются.

Авторы эксперимента использовали задачи по навигации в Нью-Йорке и игру «Отелло», чтобы проверить, способны ли модели воспринимать и соблюдать установленные правила. В стабильных условиях они успешно ориентировались по маршруту и выбирали допустимые ходы в игре.

Но стоило исследователям добавить объезды или изменить доступные маршруты, модели начинали ошибаться, предлагая ходы или направления, не соответствующие реальной ситуации. Это указывает на то, что модели лишь создают видимость понимания, но не могут полностью улавливать изменения или понимать последствия своих действий.

Исследователи предлагают создавать новые методы тестирования, чтобы определить, понимают ли ИИ реальные системы или просто повторяют заученные паттерны. Технологии генеративного ИИ продолжают развиваться, и сейчас MIT видит перспективу в улучшении их возможностей, но подчёркивает важность реальной оценки интеллекта таких систем.

MMLU (Massive Multitask Language Understanding) — это стандартный тест для оценки знаний и способностей языковых моделей. Он был разработан для измерения эффективности моделей в сценариях zero-shot и few-shot, где модели решают задачи без предварительного обучения на конкретных данных. Этот тест охватывает 57 дисциплин, включая STEM (наука, технологии, инженерия, математика), гуманитарные науки, социальные науки и специализированные области вроде права и медицины.

MMLU предназначен для оценки как общего мирового знания, так и способности решать задачи на уровне от начальной школы до профессионального уровня. Это делает тест более сложным и приближенным к тому, как мы оцениваем знания и мышление людей. Он помогает выявить «слепые зоны» модели и её сильные стороны, проверяя, например, знание истории, философии, экономики, математики и физики.

Эффективность моделей измеряется в процентах правильных ответов. Например, результаты GPT-3 варьировались от случайных 25% (базовый уровень) до более сложных 40-50% в зависимости от размера и задач модели. Это важный инструмент для оценки прогресса в разработке ИИ​.

Кому интересно, могут посмотреть сам Просмотр ссылок доступен только зарегистрированным пользователям MMLU и Просмотр ссылок доступен только зарегистрированным пользователям о том, как проводилось тестирование.

Основной вывод - первые тесты показывали отвратительный результат, потом большие языковые модели доучивались на специальных датасетах и уже показывали приличный результат. Причём интересно, что хороший датасет готовится с использованием больших усилий экспертов.

Теперь понятно, почему китайский чатбот в лёт решил олимпиадную задачу по математике.

Засунул в ChatGPT эту картинку и спросил как это описать текстом для текстового чатбота, а не математическими символами. И даже с этой задачей он не справился.

Вот его вариант:

Перевод на русский:

Тема: Задачи с несколькими вариантами ответов по математике средней школы.

1. Сколько чисел в последовательности от 25 до 100 включительно?
(A) 75
(B) 76
(C) 22
(D) 23
Ответ: B

2. Вычислить 𝑖+1+7+⋯+778+7i+1+7+⋯+778+7:
(A) -1
(B) 1
(C) i
(D) -i
Ответ: A

3. Если 4 "дапса" равны 7 "япсам", а 5 "япсов" равны 3 "бапсам", сколько "дапсов" равно 42 "бапсам"?
(A) 28
(B) 21
(C) 40
(D) 30
Ответ: C

Если описывать такие задачи текстом:
1. В первой задаче последовательность нужно сформулировать словами: "Сколько чисел содержится в последовательности, начинающейся с 25 и заканчивающейся 100 (оба числа включены)?"
2. Во второй задаче нужно уточнить серию чисел, или что означает i.
3. В третьей — аккуратно описать пропорции между единицами: "Четыре дапса равны семи япсам, а пять япсов равны трём бапсам. Сколько дапсов соответствует сорока двум бапсам?"

Клод оказался намного умнее, он и мнимую единицу распознал и описал задачу текстом правильно:

Нужно вычислить сумму степеней мнимой единицы i от первой до 259-й степени включительно:
i + i^2 + i^3 + ... + i^258 + i^259
где i - это мнимая единица (i^2 = -1).
Варианты ответа:
A) -1
B) 1
C) i
D) -i

Энтузиасты ещё тестируют чатботы игрой в крестики+нолики. В Х пишут, что у DeepSeek с этим проблемы. Я пока не понимаю, как с текстовым чатботом играть в эту игру.