Текст Ашманова.
В августе бывший гендиректор Гугла Эрик Шмидт дал интервью в Стэнфорде. Интервью якобы через пару дней удалили с Ютуба, потому что Шмидт там сказал такие вещи, ну прям такие, что ух.
На самом деле интервью легко найти, как и транскрипт.
Это довольно познавательное чтение, хотя и длинное, почти на 30 страниц. Ниже — основные пункты интервью, показавшиеся мне важными.
Кто такой Шмидт, и почему так важно его мнение
Почему его лекции достаточно для понимания отношения американцев — индустрии ИИ, «дипстейта», Госдепа, Пентагона и американской разведки к будущему ИИ?
Шмидт — один из главных управляющих ИТ-индустрией США, круче Маска и Гейтса, потому что гораздо более тесно связан с государством и принятием решений.
В видео он как-то на себя не очень похож — без очков и сильно похудевший с лица. Ему 64 года, вроде бы он бодр. Может быть, болен.
Можно почитать про него английскую Википедию (она полнее и откровеннее– и там про Шмидта можно хвалиться связями с разведкой и Пентагоном).
American businessman and former software engineer who served as the CEO of Google from 2001 to 2011 and as the company’s executive chairman from 2011 to 2015. He also served as the executive chairman of parent company Alphabet Inc. from 2015 to 2017, and Technical Advisor at Alphabet from 2017 to 2020. In April 2022, the Bloomberg Billionaires Index estimated his net worth to be US$25.1 billion.
В «нашей», то есть русскоязычной, Педивикии, конечно, не пишут прямо, что Шмидт — профессиональный разведчик. Его поставили в Гугл в начале 2000-х присматривать за бодрыми аспирантами Ларри и Сергеем.
Гениальные Ларри и Сергей тоже, в общем-то, изначально работали на разведку — они ещё в 1993-94 годах получили на будущий Гугл деньги и куратора от Горного Форума, а потом инвестиции от In-Q-Tel, Ит-фонда ЦРУ.
Вот тут на D-Russia у Андрея Анненкова можно прочесть большое американское расследование того, как ЦРУ создавало Гугл.
Шмидт работал гендиректором (CEO) Гугла почти 20 лет, стал акционером, миллиардером и т. п. Естественно, он был связным ИТ-индустрии с «разведсообществом» и Пентагоном, организовывая такие штуки, как покупка Гуглом проекта Keyhole и превращение его в Google Earth с закрытой, гораздо более точной версией геопространственной системы для разведки, и кучу других госконтрактов с Пентагоном и разведкой.
Он был советником при президенте США по инфобезопасности, главой разных правительственных и сенатских комиссий, несколько лет работал в Пентагоне (об этом ниже). Всё это время он занимался по сути искусственным интеллектом.
Сейчас он прямо занялся боевым ИИ, об этом тоже ниже.
Место августовской встречи, Стэнфорд — тоже не проходное место. Там, собственно, и был сделан Гугл (хоть и по приказу и на деньги Горного Форума).
Интересны даже не сами прогнозы Шмидта (которые во многом сформулированы как «вы даже не представляете, что будет, что будет, вапще»), а то, как и что наши враги думают, что считают важным, куда планируют идти.
Прав ли Шмидт, не прав, продвигает ли он в том числе свой коммерческий интерес или борется за величие Америки — но слушать там будут именно его и таких, как он.
Ниже — выжимка основных смыслов из транскрипта, взятого с Гитхаба.
Зачем делать дайджесты руками
Я мог бы поручить это ЧатЖПТ — перевести на русский и собрать «дайджест», «саммари». Или наоборот — собрать дайджест и перевести. На моём месте сейчас так поступил бы каждый.
Конечно, я этого делать не стал. Например, потому, что я сам в таком дайджесте увидел бы только то, что машина туда добавила, сочла важным — но не увидел бы того, что она выбросила, сочтя неважным. А отбрасывать — не менее важное и ответственное дело.
То есть делегировать машине составление дайджеста — это делегировать ей принятие решений о том, что важно, а что — нет, а не просто поручать «рутинную работу» по «смысловому сжатию текста».
И это значит, между прочим, что при использовании суммаризатора вы даёте ваше согласие на то, что в голове не останется ничего, кроме этого машинного либретто, а также на то, что не будут нагружены нейроны в ходе чтения полного текста и не будут сформированы новые нервные связи. То есть делегирование ЧатЖПТ — это отказ от думания.
А зачем же это нужно? Даже если жопота хорошо это делает.
Допустим, ваш сосед трахал бы вашу жену гораздо лучше вас — он красивее, моложе, да и либидо у него получше и побольше. Казалось бы, надо делегировать? Всем же будет лучше.
В общем, вы как хотите, а я всё-таки просуммирую Шмидта сам. Я выбрал то, что интересно мне, в меру моего понимания проблем ИИ.
Основные пункты интервью Шмидта
«Вещи в области ИИ развиваются так быстро, что нужно каждые 6 месяцев давать новое выступление о том, какие будут перспективы» — сказал Шмидт в начале разговора.
Прежде всего — о собственно технологиях.
Технологии
Шмидт указывает на три основных особенности текущей ситуации в ИИ, ключевые технологии.
1. Огромные «контекстные окна». Сейчас Большие языковые модели (LLM))позволяют иметь «контекстное окно» на миллион слов. То есть не просто анализировать такие контексты, но и по сути давать их в виде промта, запроса к LLM. «Вы можете задать вопрос из миллиона слов». И самые крутые компании (OpenAI и Anthropic) уже идут к окну в 10 миллионов.
2. ИИ-агенты. Здесь он не останавливался подробно. Это некие россыпные, самостоятельные прикладные программы ИИ, использующие LLM. Но вообще сейчас стартапная истерия про «агенты» — довольно яростная.
3. «Текст в действие» вместо «текст в текст». Вместо генерации текстов теперь к LLM будут присоединять действия. То есть получаем на входе текст, на выходе исполняем программу на Питоне. «Language to Python». Питон не очень нравится самому Эрику, но этот язык в любом случае доминирует. А сейчас появился новый язык — Mojo, созданный специально для «программирования ИИ», вот этих реакций на промты.
Шмидт иллюстрирует использование агентов и действий таким образом:
Вам не нравится Тикток, его сейчас забанят в США? Дайте команду LLM создать свой Тикток, украсть оттуда интерфейс, перекачать всю музыку и видео, опубликовать, проверить, взлетает ли сервис, изменить интерфейс, попробовать ещё раз и т. п.
По сути у каждого может оказаться свой ручной программист, послушный и исполнительный, без обычной надменности и неуправляемости программистов.
Нужно понимать также, что в мире ИИ возникла монополия компании Nvidia. Она связана даже не с тем, что все ИИ-разработчики и ИИ-системы работают на графических картах этой компании, а с тем, что весь код ИИ в мире оптимизирован под CUDA — по сути, язык Nvidia для графических карт. «Это как язык С для обычных процессоров».
Все популярные опенсорсные библиотеки для ИИ оптимизированы под CUDA, и ни подо что другое. Поэтому Nvidia и стоит 2 триллиона долларов. Интел и AMD пытаются догнать, делают фабрики в Корее, но отстали. Возможно, нагонят, если создадут следующую архитектуру под ИИ.
Ну и вообще все эти сотни миллиардов, которые идут в индустрию ИИ, рано или поздно должны просочиться в энергетику, потому что электричества уже не хватает. Следующий бум инвестирования будет в генерирующих мощностях в том числе.
Организация инноваций в США
Раньше Шмидт инвестировал в малые компании, потому что они креативнее и быстрее.
Но сейчас он засомневался. Похоже, пришло время «больших батальонов». Для создания больших моделей нужны десятки или сотни миллиардов долларов.
А вот Гугл уже не торт. Когда-то в Гугле были крутые инновации, Питер Норвиг придумал «трансформеры» и т. п. Но сейчас они разленились, разрешают работать удалённо, уходить раньше, ценят «жизненный баланс», на работу ходят раз в неделю. И гендиректор (индус Сундар), похоже, не догоняет, что надо делать (вот из-за этого, скорее всего и снесли интервью с Тюбика — индус приказал, ИА).
Стартапы их сожрут, потому что люди там работают 24×7 и основатели всех подгоняют. Вот, допустим, Илон Маск работает 24 в сутки, летает по миру, шевелится.
А ещё нужно подключать американские университеты, у них другой взгляд на науку ИИ, но им не хватает мощностей, надо дать эти мощности учёным.
Геополитика и борьба с Китаем
Шмидт несколько последних лет был главой правительственной комиссии по ИИ, она выпустила отчёт на 752 страницы. По его итогам был принят Chip Act, готовился байденовский AI Act (самый длинный президентский указ в истории США) и много других законов и актов об ИИ. Наложили фактический запрет на продажу чипов Nvidia в Китай.
Сейчас в этой гонке могут участвовать только немногие страны, для этого нужны огромные деньги и очень много талантливых кадров. По сути — это только Китай. Китай отстаёт от США на несколько лет, китайцы в ярости, а американцам этот разрыв надо сохранять всеми силами.
Остальным надо к кому-то прибиться. Следующие 10 стран в рейтинге ИИ — это союзники США или тесно связаны с американскими союзниками.
Индии, Корее, Тайваню, Японии надо прислониться к США, это очевидно.
А вот Евросоюз обречён из-за своей бюрократии. Шмидт потратил 10 лет на борьбу с ними, но они по-прежнему ограничивают исследования. Единственный, кто борется с бюрократией Брюсселя — это Макрон (личный друг Шмидта), так что у Франции есть какой-то шанс. У Германии шансов нет, по мнению Шмидта.
Национальная безопасность
Рисков в области ИИ много: если ИИ научился какой-то дряни, вы можете не подозревать об этом — потому что не знаете, как его про эту дрянь спросить, чтобы её выявить.
Все эти законы, принимаемые в том числе по инициативе комиссии Шмидта, должны как-то снизить риски ИИ. В частности, если у какого-то коммерческого игрока оказывается в руках вычислительная мощность выше определённого порога, он должен докладывать правительству, что и зачем он делает.
Однако сейчас уже разрабатывают технологии распределённого обучения (federative training), чтобы обучать ИИ по кусочкам, а потом объединять — и так обходить эти пороги и проклятие «больших батальонов» — необходимость огромных денег и энергии. За этим тоже нужно следить правительству.
Война
Шмидт занимается военным ИИ. Он семь лет был советником министра обороны США. Он пытался изменить то, как Министерство обороны тратит деньги и управляет обороной и армией. «Сам-то я армию не очень люблю, но это очень дорогая вещь, я хотел как-то там всё упорядочить».
Не очень преуспел, но в любом случае военные дали Шмидту медаль. Он шутит: «видимо, у них принято давать медали за неудачи».
Тогда он занялся частной разработкой военных технологий, создав в том числе компанию Белый Аист, производящую боевые дроны и работающую в Европе и на Украине.
Объясняет он это обычным американским враньём типа «когда я увидел, как русские из танков уничтожают дома с пожилыми женщинами и детьми, я пришёл в ярость, понял, что надо это прекратить, и решил заняться военным ИИ».
Основная цель компаний Шмидта:
а) превратить войну в войну роботов, и
б) сделать боевых роботов максимально дешёвыми. Чтобы дроны за 500 тысяч долларов, а лучше за 500 долларов уничтожали танки за 5 миллионов.
Нужно сделать бессмысленными танки, артиллерию. Нужно вообще прекратить войны на земле, с захватом территории. Американцы должны уметь наказывать агрессоров за наземные вторжения настолько сильно, чтобы сделать вторжения бессмысленными.
Кроме того, очевидно, что нападение сейчас имеет огромное преимущество перед защитой, потому что нападающий сейчас всегда может перегрузить, «насытить» системы защиты.
Поэтому для национальной безопасности разрабатывать надо не средства защиты, а средства нападения.
По сути сейчас Шмидт, по его словам — лицензированный разработчик и продавец вооружений. Это всё полностью законно, всё делается в частном бизнесе, но с поддержкой государства. Потом это идёт на Украину и там используется в войне.
Но вообще ситуация сейчас там плохая, отчаянная. Украина проигрывает. Если русские соберутся с силами, Украина начнёт терять большие куски территории, если не всю страну целиком.
Да, и кстати, говорит Шмидт, если вы знаете такую сенаторшу Мейджори Тейлор Грин — удалите её из контактов, не общайтесь: это очень опасный и вредный человек, который в одиночку блокирует передачу миллиардов долларов для спасение очень важной демократии на Украине.
Философия
Сейчас меняется наше отношение к знанию. Мы начинаем иметь дело с чем-то, чего мы не понимаем. Раньше было не так — как говорил Фейнман, «чего я не могу создать — того я не могу понять».
Сейчас это не так. Это кардинальный перелом. Готовы ли мы принимать на веру слова больших моделей, если они не в состоянии объяснить нам их?
Придётся с этим жить. Мы же не понимаем тинейджеров: они похожи на людей, но мы их не понимаем. Но как-то мы справляемся жить с ними, а потом они вырастают. Ну вот и тут так же.
Нужно вырабатывать механизмы аудита ИИ, слой независимых компаний, умеющих тестировать и взламывать системы ИИ, искать уязвимости и скрытое знание, полученное в результате обучения и которое мы не можем извлечь. С помощью ИИ, естественно. Прямо создавать способы атаки на LLM, «состязательный ИИ», «доказательную медицину» в области ИИ, и всё такое.
Куда всё идёт?
Все сейчас инвестируют в ИИ. Поскольку большинство не может отличить, где ИИ, а где нет, то любая инвестиция сейчас — это инвестиция в ИИ. У инвесторов есть также убеждение, что инвестиции в ИИ сейчас дают бесконечный возврат, что здесь нельзя ошибиться. Это, конечно, пузырь. Он рано или поздно прекратится, так было много раз раньше.
Но есть и реальные инновации, их очень много, в первую очередь это технологии пост-трансформеров и не-трансформеров.
Но денежный порог начинает решать. Денег нужно всё больше и больше, в том числе тем компаниям, куда инвестировал Шмидт. А выручки часто всё нет и нет.
И как результат возникает огромная дилемма относительно опенсорса. Сейчас в Америке в ИТ-индустрии идут бурные дискуссии вокруг опенсорса. Сам Шмидт, все вокруг сторонники опенсорса, всегда были такими, и в Гугле, и до него — но деньги начинают давить. Программирование стоит всё больших денег.
Выход — повысить производительность программирования в разы с помощью больших моделей. Есть несколько компаний, ставящих себе такие цели, в том числе Augment; они нацелены на помощь индивидуальному программисту; Шмидт проинвестировал почти во все из них.
Что всё-таки такого в «большом контекстном окне»?
Оно позволяет решить проблему актуальности. Обычный цикл обучения больших моделей составляет примерно полтора года — 6 месяцев подготовки, 6 обучения, шесть — настройки и исправления ошибок. Поэтому они всегда неактуальны. Большое контекстное окно позволяет засунуть в модель прям то, что происходит сейчас, например, войну Израиля с ХАМАСом. Это делает модель актуальной, как Гугл.
Пример про агенты
Шмидт проинвестировал в компанию ChemCrow, которая на основе LLM предсказывает свойства белков. Модель присоединена к лаборатории, которая за ночь выполняет синтез и тест новых соединений, так что модель учится в реальном времени, это прямо прорыв в биохимии. Шмидт называет это «агентской моделью».
ИИ и «дезинформация»
Вообще основная масса дезинформации, в том числе про грядущие выборы, по мнению Шмидта производится и распространяется в соцсетях. В частности, есть упорные слухи — бездоказательные, что Тикток манипулирует информацией в политических целях, потому что китайское правительство заставляет его это делать.
Однако, если вам кто-то что-то сказал, это не значит, что это правда. И напротив, есть довольно много верных вещей, в которые больше никто не верит.
Америке нужно выработать критическое мышление. Однако не факт, что это в современной Америке возможно.
Вообще американское общество имеет проблему с доверием. Это пример того, что демократии могут проигрывать, терпеть неудачи.
Основная угроза для демократии здесь — то, насколько современное общество преуспевает во лжи и дезинформации; когда Шмидт управлял Ютубом, приходилось фильтровать загружаемые видео — потому что загружали много фейков, и иногда это приводило к смертям в реальном мире. И это всё было до генеративного ИИ.
Люди, ведущие медийный бизнес, хотят зарабатывать деньги. Денег больше — от посещаемости. Посещаемость растёт от угара. Соответственно и гендиректора, и их алгоритмы выбирают те сообщения, где угара больше.
Демократия должна что-то тут придумать. Например, правило о предоставлении равного эфирного времени, как на ТВ. Впрочем, Тикток, например — это и есть ТВ.
Хорошего ответа на это у демократии — пока нет.
Вообще было бы неплохо хотя бы ввести публичные ключи для идентификации. Условно говоря, если Байден произносит речь, она должна быть подписана его публичным ключом, так что каждый сможет проверить, что это не фейк. Примерно как при общении с массовыми сервисами типа Амазона, когда можно быть уверенным, что платишь кредиткой именно Амазону. Шмидт даже написал про это статью, но никто не обратил внимания.
Напутствие студентам Стэнфорда
Всё стало очень быстрым. Учитесь ускорять работу с помощью ИИ. Делать прототипы в 10 или 20 раз быстрее, без помощи надменных программистов. Если вы этого не делаете в своём стартапе, это уже делает ваш конкурент, кто-то другой, в другой компании, другом университете, где-то, где вы никогда не были.
---------------------------------------------------------------------------------
Выводы (мои)
- ИИ сейчас — это индустрия. Против нас и всего мира работает огромная, лоснящаяся от денег американская ИИ-индустрия — индустрия инноваций и технологическая индустрия.
- Американцы меряют эту индустрию деньгами. «О чём бы мы ни говорили — мы говорим о деньгах». Речь там идёт о сотнях миллиардов долларов, про «триллионный вычислительный кластер».
- Это всё — ставка на выигрыш в геополитике и в войне с помощью ИИ. Похоже, американцы и в самом деле хотят получать от ИИ советы и инструкции.
- Более того, они хотят передать ИИ и «действия», то есть управление реальными системами. В том числе военными. Это прямо Скайнет из «Терминатора».
- Наличие рисков в ИИ (обучение неизвестно чему, невозможность понять, что внутри или предсказать галлюцинации, использование ИИ для дезинформации) — американцы понимают. Но передать управление реальным миром — всё равно планируют. Казалось бы, если есть риски, зачем передавать управление? На хрена? Тем не менее вот многообещающая технология: «текст в действие». Так что передадут. Убедят себя, что придуманы средства купирования рисков — и передадут.
- Главное поле боя — ИИ. Главный враг — Китай. Они считают, что уже обогнали его, хотя они в реальности боятся его и очень надеются на смену режима там.
- Россию они вообще не рассматривают как игрока. Рассматривают фактически как корм. Мы это заслужили. У нас нет такой индустрии, нет адекватных институтов развития, нет общей стратегии или хотя бы общего понимания, что делать и куда идём, не хватает большинства звеньев в технологической линейке (фабов, чипов, карточек, LLM, прочего). Наш ИИ — вторичен или вообще цельнотянутый.
Что делать нам
- Война на горизонте. Американцы полностью настроились на войну с нами. Они натолкнут на нас лимитрофов и НАТО. При этом это будет во многом война ИИ-роботов.
- Нам-то что делать, на фоне приближающейся большой войны? Догонять? Повторять? Это вряд ли получится. И скорость у них набрана огромная, и денег сколько хочешь, и индустрия работающая. И государственная воля есть.
- Искать ассиметричные ответы? Какие? Гиперзвук? ТЯО? Ракеты на ядерном движке? Собственный способ организации инноваций и производства? Что это за способ — чеболи, сталинские КБ?
- Англосаксы — самая продуманная и высокоорганизованная биоматерия на планете. Как с ними справиться? Есть у них и слабость. Они трусы и жлобы. У них есть наглость, дерзость, бесстрашие. Но нет стойкости, смелости и подвижничества. Они бегут на поле боя.
- «У Англии нет постоянных союзников, есть только постоянные интересы». Но что это за интересы? Это чистое, беспримесное жлобство: нагибать другие страны и народы, отнимать и высасывать у них товары, ресурсы, кадры, силы. Эта их миссия — чисто земная. Привязанная к собиранию сокровищ на земле.
- Как сказал Путин, даже в самом плохом случае «мы попадём в Рай, а они просто сдохнут». В каждой шутке есть только доля шутки.
- Кажется, что миссия Росси точно не в том, чтобы всем народам России вместе нагибать другие народы, отнимая у них и потребляя всё полезное нам. Это делают англосаксы — и они точно просто сдохнут, потому что в Царство Божие давно уже не верят.
- Мы уже сталкивались с более организованной материей, чем мы. Это были немцы — лучшие воины на планете на тот момент. Кстати, без ключевой слабости англичан: немцы не трусы, а бойцы. И ими тоже руководили бесы. Мы смогли победить.
- Короче, делай, что должно — и будь что будет. То есть что Бог решит. В конце концов, ведь генерал-фельдмаршал Христофор Антонович Миних был прав в своей известной максиме про Россию.
