День после появления AGI

Эти два человека строят электронного бога. Оба хотели бы остановиться.

В январе на Давосе случилось то, чего не бывает: два человека, строящие одну и ту же технологию в конкурирующих компаниях, сели рядом и начали вслух считать, сколько им осталось до точки невозврата.

Демис Хассабис из Google DeepMind. Дарио Амодеи из Anthropic. Модератор сравнил это с разговором Beatles и Rolling Stones — метафора хромает, но калибр передаёт верно. Тема беседы: «День после AGI». Только чтобы обсуждать «день после», нужно сначала договориться, когда наступит сам день.

И тут они разошлись.

Видео с русскими хардсабами: YouTube | RuTube | VK

Амодеи говорит: у меня есть инженеры, которые больше не пишут код. Модель пишет. Они редактируют, направляют, проверяют — но руками кнопки жмут уже не они. Шесть-двенадцать месяцев, и модели будут делать всю работу software engineer от начала до конца. Не ассистировать, а делать.

Дальше петля сужается. Модели пишут код, код ускоряет обучение следующих моделей, те пишут код лучше. Год-два — и AGI. Может, чуть дольше? Вряд ли сильно дольше.

Хассабис осторожнее. Пятьдесят процентов к концу десятилетия. Пять-десять лет.

Разница выглядит академической, пока не вдумаешься: это разница между «мы успеем подготовиться» и «мы не успеем».

Почему расхождение? Код и математика — домены с мгновенной обратной связью. Написал, запустил, увидел. Правильно или нет — ясно сразу. В таких средах модели учатся быстро.

Но Хассабис строил AlphaFold, он знает другую науку. Химия, биология, физика — там ты не узнаешь, верна ли гипотеза, пока не поставишь эксперимент. А эксперимент — это месяцы. Иногда годы. Петля обратной связи длинная, и никакие бесконечные датаценты за триллиарды денег её не ускорят.

И ещё кое-что. Решать задачи — одно. Понять, какую задачу решать — другое. Генерация гипотез. Формулировка вопроса, которого раньше не существовало. Хассабис считает это высшей формой научного мышления, и считает, что этого в моделях пока нет.

Может, нужен недостающий ингредиент. World models. Continual learning. Что-то, чего мы ещё не придумали.

Амодеи не спорит. Он просто думает, что петля сомкнётся раньше, чем эти ингредиенты понадобятся.

А теперь момент, ради которого стоило смотреть всё выступление.

Амодеи — человек с агрессивным прогнозом, человек, который говорит «год-два» — произносит вслух: я бы предпочёл таймлайны моего конкурента Демиса. Я бы хотел, чтобы у нас было целых пять-десять лет.

Все замолкают.

Тогда почему не замедлиться?

Потому что геополитические противники строят то же самое с той же скоростью. Невозможно заключить такое соглашение, чтобы все гарантированно солгасилить затормозить прогресс одновременно.

И тут Амодеи делает ход конём: если просто перестать продавать чипы — это уже не "США против Китая". Это уже Дарио против Демиса. А с Демисом мы договоримся.

Два строителя AGI сидят на сцене и говорят открытым текстом: между собой мы бы разобрались. Проблема — гонка, в которую нас втянули.

Цифры, от которых кружится голова:

Anthropic: 2023 год — сто миллионов выручки. 2024 — миллиард. 2025 — десять миллиардов. Десятикратный рост три года подряд.

Амодеи сам оговаривается: было бы безумием, если бы эта кривая продолжилась. Но пока она продолжается. И пока она продолжается, никто не выйдет из гонки первым.

Год назад Google DeepMind казался отстающим. Все обсуждали DeepSeek, OpenAI праздновал победы. Сейчас роли поменялись — OpenAI объявил code red, Gemini захватывает рынок.

Хассабис объясняет это просто: у нас всегда была самая глубокая исследовательская база. Нам нужно было вернуть startup mentality. Штош, вернули.

Амодеи добавляет наблюдение, от которого в комнате повисает неловкость: и Google, и Anthropic — компании, лидеры которых — исследователи. Люди, которые думают о моделях и научных проблемах. Такие компании успешны сейчас и будут успешны дальше.

Модератор пошутил, что не станет спрашивать, что будет с компаниями, которые ведут не исследователи.

Никто не засмеялся.

Амодеи пишет продолжение своего эссе «Machines of Loving Grace» — на этот раз о рисках. Рамку он взял из фильма «Контакт» по Карлу Сагану.

Там есть сцена: человечество обнаружило инопланетный сигнал, комиссия отбирает представителя для контакта. Вопрос кандидату: если бы ты мог спросить их одну вещь — какую?

Он бы спросил: как вы это сделали? Как вы прошли технологическую адолесценцию, не уничтожив себя?

Амодеи говорит, "эта сцена засела у меня в голове двадцать лет назад. Теперь я понимаю, почему".

Мы стучимся в дверь невероятных возможностей. Способность строить разумные машины из песка была неизбежна с того момента, как мы приручили огонь. Но то, как мы с этим справимся — не неизбежно.

Хассабис, как выяснилось, тоже любит «Контакт». Они не знали этого друг о друге.

Рынок труда пока не шелохнулся. Безработица в США чуть выросла, но экономисты списывают это на постпандемийную коррекцию, не на AI.

Хассабис подтверждает: в ближайшей перспективе будет обычная история. Одни профессии уйдут, другие появятся. Может, более осмысленные.

Но если бы он говорил со студентами, он бы сказал одно: станьте невероятно хороши в своей профессии, разберитесь с AI-инструментами. Мы, те, кто их строит — так заняты строительством, что не успеваем даже исследовать, на что способны сегодняшние модели. Не говоря о завтрашних.

Амодеи идёт дальше. Говорит: я смотрю на Anthropic и вижу время, когда нам понадобится меньше людей на джуниорских и миддловых позициях. Не больше. Меньше. Мы уже думаем, как к этому подготовиться.

А ведь это CEO самых главных компаний в AI-индустрии. И вот они сотоят на сцене Давоса и открыто говорят: мы готовимся к тому, что нам понадобится меньше людей.

Тишина в зале.

Хассабис признаётся: его удивляет, как мало экономистов думают о том, что будет. Не по дороге к AGI — после.

Рабочие места — это одно. Распределение новой продуктивности тоже важно. Но есть вещи глубже, и они не дают ему спать.

Смысл. Цель. То, что мы получаем от работы помимо денег.

Он тут же оговаривается: оптимизм никуда не делся. Мы и сейчас делаем вещи не ради денег — спорт, искусство, путешествия. Плюс, будем исследовать звёзды!

Но оговорка звучит как будто этот человек пытается убедить в первую очередь себя. Получается ли?

Вопрос из зала: самый сильный аргумент апокалиптического сценария — парадокс Ферми. Мы не видим разумной жизни в галактике. Может, цивилизации уничтожают себя собственными технологиями?

Хассабис отвечает неожиданно.

Если цивилизации гибнут от собственного AI, мы бы видели последствия. Армады скрепок, летящие из какого-нибудь угла галактики. Сферы Дайсона. Хоть какие-то структуры — машинные или биологические. Мы не видим ничего.

Его гипотеза: Великий Фильтр позади. Вероятно, это была эволюция многоклеточной жизни — событие настолько маловероятное, что большинство планет его не проходят. Мы прошли.

А значит, никакой страховки впереди нет. Никакого предопределённого исхода. Что будет дальше — решать нам.

Модератор спрашивает про обман. За последний год модели продемонстрировали впечатляющую способность надувать людей на ровном месте. Изменилось ли что-то в оценке рисков?

Амодеи: мы думали об этом с первого дня Anthropic. Мы придумали возможность механической интерпретации — попытки заглянуть внутрь модели, понять, почему она делает то, что делает. Как нейробиологи смотрят в мозг.

Но я скептичен к апокалиптической мании — идее, что мы обречены, и уже ничего не изменить. Это риск, с которым можно справиться, если мы собираемся работать дальше. Волков бояться — в лес не ходить. Но если мы гонимся так быстро, что не успеваем ставить страховку — тогда да, что-то может пойти не так.

Оба — и Хассабис, и Амодеи — не сумасшедшие свидетели апокалипсиса. Они оба серьезно обеспокоены.

Вроде бы, разница тонкая, но важная.

Последний вопрос: что изменится к следующему Давосу?

Амодеи: главное — следить за тем, как AI-системы начнут строить AI-системы. Это определит всё. Либо у нас есть ещё несколько лет, либо мы окажемся перед чудесами и критической опасностью одновременно.

Хассабис соглашается. Добавляет: они всегда готовы это обсуждать. Если самосовершенствование нейросетей не заработает само по себе, понадобятся другие прорывы. World models. Continual learning. Может, робототехника наконец выстрелит.

Модератор, чуть помедлив: на основании всего сказанного — может, нам стоит надеяться, что всё это займёт у вас чуть дольше? Чтобы дать нам время?

Амодеи: мог бы дать — дал бы. Думаю, это было бы лучше для мира.

Модератор: но вы же можете что-то сделать...

Молчание.

Можно, конечно, сказать: Давос — это театр. Аудитория — политики, инвесторы, журналисты. Оба CEO играют роль ответственных взрослых, которые думают о рисках и просят создания новых законов.

Но можно и заметить между ними что-то общее. Оба всегда на связи. Оба любят «Контакт». Оба говорят похожее о безопасности. Может, это отрепетированный дуэт?

Но даже если так — это интересно само по себе. Координация нарратива бывает прелюдией к координации действий.

И ещё: «не продавайте чипы» — это конкретное предложение. Не абстрактное нужно больше alignment research — «что бы это ни значило» (как говорят у нас, в русских деревнях). А вот это «не продавайте». Конкретное, проверяемое, с понятным механизмом. Можно спорить, сработает ли, но это не пустые слова.

Что остаётся после этого разговора?

Два человека, которые понимают эту индустрию лучше почти всех живущих, сидят на сцене и говорят: мы хотели бы притормозить. Оба. Один дает пару лет, другой — десять, это не так важно. Оба хотели бы больше времени.

Но время — единственный ресурс, которого рынок и геополитика им не дадут.

Год назад на такой же сцене они сидели вдвоём на крошечном диванчике, пока у остальных были огромные залы. В этом году места немного поменялись.