значительные убытки в размере около $5 млрд в 2024 году, OpenAI ожидает резкий рост доходов, с прогнозом на $11,6 млрд в 2025 году.

Журналисты продолжают путать доход, прибыль и убыток. А реальность такова, что выручка OpenAI в 2024 году ожидается 3,7 млрд. долларов. При этом  OpenAI тратит значительно больше конкурентов, для сравнения, их основной конкурент стартап Anthropic планирует выделить на весь 2024 год не более $2,7 млрд. Интересно, что в последнее время к Anthropic переходят ключевые сотрудники OpenAI. Возможно, что что-то знают. Некоторые эксперты говорят, что несмотря на огромные инвестиции, деньги у OpenAI могут закончиться через 12 месяцев.

Интриги добавляет сам Сэм Альтман, который просит инвесторов не финансировать конкурентов OpenAI.

Очень любопытен анонимный Просмотр ссылок доступен только зарегистрированным пользователям из Google. Возможно монстры опасаются не только проблем с авторскими правами, но и конкуренции с Open Source-сообществом. Далее гугло-перевод:

Google «У нас нет рва, как и у OpenAI»

Утечка внутреннего документа Google утверждает, что ИИ с открытым исходным кодом превзойдет Google и OpenAILeaked Internal Google Document Claims Open Source AI Will Outcompete Google and OpenAI.

Текст ниже — это совсем недавний документ, который был опубликован анонимным лицом на публичном сервере Discord, предоставившим разрешение на его переиздание. Он исходит от исследователя из Google. Мы проверили его подлинность. Единственные изменения — это форматирование и удаление ссылок на внутренние веб-страницы. Документ представляет собой мнение только сотрудника Google, а не всей компании. Мы не согласны с тем, что написано ниже, как и другие исследователи, которых мы спросили, но мы опубликуем наше мнение по этому поводу в отдельной статье для подписчиков. Мы просто являемся средством для распространения этого документа, который поднимает некоторые очень интересные вопросы.

У нас нет рва

И OpenAI тоже.

Мы много оглядывались на OpenAI. Кто пересечет следующую веху? Каким будет следующий шаг?

Но неприятная правда в том, что ни мы, ни OpenAI не способны выиграть эту гонку вооружений. Пока мы ссорились, третья фракция спокойно ела наш обед.

Я говорю, конечно, об открытом исходном коде. Проще говоря, они нас лакают. То, что мы считаем «крупными открытыми проблемами», сегодня решено и находится в руках людей. Вот лишь некоторые из них:

- LLM на телефоне: люди запускают базовые модели на Pixel 6 со скоростью 5 токенов в секунду.

- Масштабируемый персональный ИИ. Вы можете настроить персонализированный ИИ на своем ноутбуке за вечер.

- Ответственный выпуск: эта проблема не столько «решена», сколько «предотвращена». Существуют целые сайты с художественными моделями без каких-либо ограничений, и текст не отстает.

- Мультимодальность: текущий мультимодальный специалист ScienceQA SOTA был обучен за час.

Хотя наши модели по-прежнему имеют небольшое преимущество с точки зрения качества, разрыв сокращается удивительно быстро. Модели с открытым исходным кодом более быстрые, более настраиваемые, более конфиденциальные и более функциональные. Они делают вещи с параметрами в 100 и 13 миллиардов долларов, с которыми мы боремся при 10 миллионах и 540 миллиардов долларов. И они делают это за недели, а не месяцы. Это имеет для нас глубокие последствия:

- У нас нет секретного соуса. Наша лучшая надежда — учиться и сотрудничать с тем, что делают другие за пределами Google. Нам следует уделить приоритетное внимание включению интеграции 3P.

- Люди не будут платить за ограниченную модель, если бесплатные неограниченные альтернативы сопоставимы по качеству. Нам следует подумать, в чем на самом деле заключается наша добавленная стоимость.

- Гигантские модели замедляют нас. В долгосрочной перспективе лучшими моделями являются те, которые который можно быстро повторить. Теперь, когда мы знаем, что возможно в режиме параметра <20B, нам следует делать небольшие варианты, а не второстепенную мысль.

Что случилось

В начале марта сообщество открытого исходного кода получило в свои руки свою первую по-настоящему работоспособную базовую модель, когда LLaMA от Meta стала достоянием общественности. У него не было никаких инструкций или настройки разговора, а также RLHF. Тем не менее, община сразу поняла значение того, что им было дано.

Последовал колоссальный поток инноваций, причем между основными событиями оставалось всего несколько дней (полную информацию см. в «Хронологии»). И вот, всего месяц спустя, появились варианты с настройкой инструкций, квантованием, улучшением качества, человеческими оценками, мультимодальностью, RLHF и т. д. и т. п., многие из которых основаны друг на друге.

Самое главное, они решили проблему масштабирования до такой степени, что повозиться может каждый. Многие новые идеи исходят от обычных людей. Барьер для входа на обучение и экспериментирование снизился с общего объёма продукции крупной исследовательской организации до одного человека, вечера и мощного ноутбука.

Почему мы могли предвидеть это

Во многих отношениях это ни для кого не должно быть сюрпризом. Нынешний ренессанс LLM с открытым исходным кодом идет по пятам за ренессансом в создании изображений. Сходство не ускользнуло от внимания сообщества, и многие называют это «моментом стабильного распространения» для LLM.

В обоих случаях недорогое участие общественности стало возможным благодаря значительно более дешевому механизму точной настройки, называемому низкоранговой адаптацией, или LoRA, в сочетании со значительным прорывом в масштабах (скрытая диффузия для синтеза изображений, Chinchilla для LLM). В обоих случаях доступ к достаточно высококачественной модели вызвал шквал идей и итераций со стороны отдельных лиц и учреждений по всему миру. В обоих случаях это быстро опередило крупных игроков.

Этот вклад сыграл решающую роль в области создания изображений, поставив Stable Diffusion на путь, отличный от Dall-E. Открытая модель привела к интеграции продуктов, торговым площадкам, пользовательским интерфейсам и инновациям, чего не произошло с Dall-E.

Эффект был ощутимым: быстрое доминирование с точки зрения культурного воздействия против решения OpenAI, которое становилось все более неактуальным. Произойдет ли то же самое с LLM, еще неизвестно, но общие структурные элементы остаются прежними.