Кевин Рус не использовал ИИ, чтобы написать книгу об ИИ

В книге «Хроники общего искусственного интеллекта» журналист Кевин Рус рассказывает недавнюю историю отрасли через OpenAI, Anthropic и Google. Чтобы написать её, он провёл более 150 интервью с людьми из мира ИИ. Рус, прежде работавший обозревателем и ведущим подкаста The New York Times, хотел сохранить подробную историю людей и организаций, соперничества и потрясений, которые привели Кремниевую долину к её нынешнему состоянию.

В конце сентября я поговорила с Русом — через несколько дней после того, как он и Кейси Ньютон, его бывший соведущий подкаста Hard Fork для The New York Times, объявили о создании медиакомпании Machine Gods Media и договорились о распространении подкаста с NPR. Мы обсудили их новый проект, кадровые проблемы традиционных медиа, ИИ и книгу Руса.

Интервью сокращено и отредактировано для ясности.

— Вы с Кейси Ньютоном объявили о создании новой медиакомпании Machine Gods Media. И подкаст тоже называется Machine Gods?

— Да. Решили, что хорошее название стоит использовать дважды.

— Когда вы объявили об уходе из The New York Times, вы описали свою идею так: относиться к развитию ИИ серьёзно, честно оценивать возможности и риски мощных систем и помогать людям справляться с неопределённостью, одновременно развлекая их. Чего, по-вашему, не хватает в освещении технологий и ИИ?

— Нам просто показалось, что двум мужчинам давно пора получить место, где можно обсуждать ИИ.

Я годами говорил, что хочу, чтобы о технологиях говорило больше мужчин.

Если серьёзно, подкастов, роликов на YouTube и материалов крупных СМИ об ИИ и так много. Сейчас это главная тема в мире. Но мы с Кейси увидели в медиасреде несколько проблем. Некоторые люди прославляются и добиваются успеха, утверждая, что весь этот ИИ — обман, шумиха и огромный финансовый пузырь, что никто не пользуется этими инструментами и на экономику они не повлияют. Мол, OpenAI обанкротится, Anthropic тоже.

Это целое направление популярной критики, и её придерживаются не только несколько известных людей. Я слышу такое от друзей, которые не следят за технологическими новостями и считают, что всё происходящее — временное и незначительное, а скоро жизнь вернётся в норму.

Есть и другой подход: сплошное восхищение. Например: «Посмотрите, как Claude может невероятно улучшить ваш бизнес с корпоративными программными сервисами». В LinkedIn полно людей, которые с восторгом говорят об этой технологии и не хотят обсуждать риски.

Мы решили, что между этими крайностями есть место для того, что Кейси называет реалистичным взглядом на ИИ. Это значит относиться к технологии серьёзно, признавать, что инструменты мощные и впечатляющие, а иногда и опасные, и помогать людям разобраться в теме — без восторженной рекламы. При этом можно и получать удовольствие от разговора.

— Вы объявили, что подкаст будет выходить при поддержке NPR. Почему выбрали именно этого партнёра?

— Причин несколько. Мы с Кейси оба любим NPR. Нам нравится их широкая независимая аудитория и общественная миссия. Ещё важно, что нам оставляют права на шоу и возможность самим принимать творческие решения. Это соглашение о распространении, а не полная покупка подкаста, поэтому мы сохраним некоторую независимость в работе.

Сейчас критически важное время, и ИИ — крайне важная тема. Нам нравится мысль, что кто-то просто включит местную радиостанцию NPR в машине и случайно наткнётся на наш подкаст.

Это может быть человек, работающий в сфере политики или местного самоуправления, или слушатель с совсем другим взглядом на ИИ. Мы не хотим обращаться только к тем, кто сам выбрал слушать подкаст о технологиях.

— Спрошу прямо: недавно Bloomberg написал, что вам обоим предлагали за шоу до 5 миллионов долларов. Сумма внушительная. Кевин, сколько вы зарабатываете?

— Намного больше, Кейти. Нет, если серьёзно, они сделали хорошее предложение. В другом месте мы могли бы получить больше.

Когда я услышал про NPR, то подумал: «Не может быть, чтобы NPR предложила этим ребятам 5 миллионов долларов» — при всём уважении к NPR.

На общественном радио обычно не становятся богатыми. Но нам очень понравилась Надин Зилстра, новый директор NPR по контенту. Она невероятно энергичная, и мы рады с ней работать.

NPR могла предложить нам многое помимо денег, например распространение по радио. Люди не понимают, насколько большой аудиторией радио всё ещё располагает. Особенно это касается общественного радио.

Мы четыре года вели Hard Fork и собрали довольно большую аудиторию, но подкаст принадлежит The New York Times, как и его канал распространения.

Мы хотим как можно быстрее нарастить аудиторию нового шоу. Нам показалось, что здесь сошлись важные факторы: приверженность NPR журналистскому качеству, широкое распространение и готовность вкладываться в рост подкаста.

— Хочу спросить о другом. Хороший журналист или обозреватель может поработать в традиционном издании вроде The New York Times, создать своё имя, а затем понять, что способен работать самостоятельно и ему больше не нужна крупная организация. Часто так можно заработать больше, чем в традиционных медиа. Что вы об этом думаете?

— Мне нечего плохого сказать о The New York Times. Я провёл там девять прекрасных лет. Это была моя вторая работа в газете. Большую часть карьеры я провёл в The New York Times и других крупных медиаорганизациях.

Но, похоже, для части аудитории сейчас важнее общаться с конкретными людьми, чем с организациями. Мы видели это снова и снова. Я не ухожу по идеологическим причинам — просто решил, что это очень интересная возможность. Но организациям, которые хотят удерживать и привлекать талантливых людей, придётся гибче подходить к таким форматам работы.

Некоторые не захотят закрывать свои рассылки на Substack и переходить в штат медиаорганизации. Другие не захотят публиковать все свои материалы в одном издании. Некоторые редакции уже пробуют более гибкие варианты: приглашают авторов на часть работы или позволяют им сохранить независимый проект и одновременно регулярно сотрудничать с изданием.

Есть разные способы организовать такую работу. Но сначала нужно признать, что привычная карьера в журналистике — начать с почтовой комнаты, постепенно подняться по службе, провести 25 лет у одного работодателя, стать редактором, а затем руководителем редакторов — разрушилась. Жаль, что это произошло. Я не считаю это хорошим изменением, но оно уже случилось.

Медиаорганизациям стоит принять, что выросло поколение медиапредпринимателей, которым не так уж интересно то, что традиционные редакции могут им предложить.

— Если говорить о кадрах и ИИ, вы оптимистично смотрите на будущее журналистики?

— Я с оптимизмом смотрю на применение ИИ в журналистике. Я давно хотел провести больше экспериментов — не поручать ИИ писать за меня или делать всю работу репортёра, а искать способы расширить возможности журналистики с помощью этих инструментов.

— Какой эксперимент вы хотели бы провести?

— Мои бывшие коллеги в The New York Times проводили впечатляющий анализ документов в масштабах, которые раньше были невозможны. Они использовали спутниковые снимки, чтобы выяснить, переехал ли завод по производству боеприпасов, и делали подобную работу.

Я сам почти не занимаюсь таким, но хотел бы, чтобы другие редакции пробовали: это здорово. Уже несколько месяцев я использую ИИ для поиска информации, редактирования и улучшения собственных материалов. Это оказалось полезно, и качество моей работы стало выше. Хотелось бы, чтобы больше медиаорганизаций проверяли, как эти инструменты могут улучшить работу журналистов, а не просто заполняли сайты низкокачественными текстами.

— Поговорим о вашей книге «Хроники общего искусственного интеллекта». Когда вы решили посвятить ей несколько лет жизни и карьеры? В какой момент поняли, что из этой истории должна получиться книга?

— Я точно помню: это было в начале прошлого года, в 2025-м. Я стоял в пробке на мосту через залив Сан-Франциско, и меня осенило. Я годами следил за этой историей во всех деталях.

Я брал интервью у ведущих исследователей и руководителей компаний в сфере ИИ, читал научные работы, бывал в офисах компаний и писал о том, чем они занимаются. Но я упускал общую картину — не пытался отойти на шаг и взглянуть на происходящее целиком. А оно было странным.

Живя в районе залива Сан-Франциско и погрузившись в местную технологическую культуру, я привык к ней. Мне перестало казаться необычным, что компании соревнуются в создании машинного сверхинтеллекта, который может как спасти человечество, так и уничтожить его.

Иногда я чувствую себя в Лос-Аламосе, штат Нью-Мексико, в 1943 году, когда туда прибывает Манхэттенский проект. Я как будто сижу в складном кресле, смотрю на въезжающие грузовики и пытаюсь понять, что происходит.

Я считаю, что эта технология важна, а её создатели и компании со временем станут частью истории. Я задумался, кто записывает происходящее, и понял: никто.

Мне казалось бы трагедией, если бы всё это исчезло в сообщениях Signal и Slack, которые автоматически удаляются, и у нас не осталось бы надёжной исторической записи об этом странном десятилетии развития ИИ — о том, как технологии сначала совсем не работали, а затем начали угрожать будущему человечества.

Я потратил около года на исследования и написание книги, поговорил более чем со 150 людьми. Наверное, стоило выделить больше времени: работа оказалась трудной и напряжённой. Но в итоге получился документ, к которому люди и будущие системы ИИ смогут обратиться, чтобы узнать, как всё произошло, кто этому способствовал и какие решения и события оказались ключевыми.

— В книге вы рассказываете о трёх компаниях — OpenAI, Anthropic и Google — и их стремлении создать эту технологию. Что вы поняли об этих компаниях и их различиях?

— Они очень разные — и по составу сотрудников, и по амбициям.

Начнём с Google: это самая старая из трёх компаний. Уже несколько десятилетий она занимается передовыми исследованиями в области ИИ и была одним из пионеров этой сферы. Google создала архитектуру Transformer — букву T в названии ChatGPT и основу многих последующих технологий. Двое людей, Илон Маск и Сэм Альтман, встревожились тем, насколько хорошо у Google всё получается и как быстро она уходит вперёд, и решили создать OpenAI…

— Да, это удивительная история. У нас есть электронные письма, всё сохранилось. Они, по сути, говорили, что нужно открыть лабораторию, которая победит Google или хотя бы составит ей конкуренцию, чтобы та не получила полный контроль над отраслью. Они основали OpenAI и проработали там несколько лет. Затем Дарио Амодеи и шестеро его коллег ушли из OpenAI и создали Anthropic, чтобы не дать OpenAI первой достичь критического рубежа на пути к общему искусственному интеллекту.

Так вся отрасль породила сама себя. Эти люди раньше работали вместе, а теперь руководят компаниями — смертельными врагами. Это стало для меня самым большим сюрпризом. Я думал, что всё больше похоже на отношения Coca-Cola и Pepsi. Но это отрасль не про дружбу, а про кровную вражду.

— После всех этих интервью кому вы доверяете? Кому можно доверить наше будущее в эпоху ИИ?

— Работая над книгой, я понял, что это обычные люди: несовершенные, способные ошибаться и проявлять слабость. Их мотивы никогда не бывают на сто процентов чистыми. Среди них есть приятные и вдумчивые люди. В каком-то смысле нам повезло с руководителями ИИ-компаний: в целом они лучше приспособлены к созданию мощных технологий и их выпуску, чем владельцы компаний социальных сетей.

— Значит, эпоха ИИ отличается от эпохи Facebook?

— Да. Во-первых, руководители ИИ-компаний гораздо меньше склонны к наивности. В начале эпохи социальных сетей люди говорили: «Мы изменим мир, освободим общение от ограничений и дадим всем пользоваться благами технологий».

О проблемах они всерьёз задумались только тогда, когда их стали допрашивать в Конгрессе.

Некоторые руководители компаний в сфере ИИ много говорят о спасении мира и пользе технологии для человечества.

В первых письмах основателей OpenAI уже видна последовательная мысль: эта технология может быть очень опасной.

Теперь эти люди соревнуются в её создании, так что их словам можно не придавать большого значения. Но нельзя обвинить их в наивности: они давно говорят, что ИИ может принести пользу человечеству, но это не гарантировано и технологию нужно разрабатывать осторожно и вдумчиво, чтобы добиться хорошего результата.

— Какую ответственность за безопасность ИИ несут руководители компаний?

— Я задавал им этот вопрос не раз: почему вы просто не остановитесь? Почему каждый день стараетесь сделать системы мощнее, если считаете, что они могут уничтожить мир?

Некоторые, в том числе Дарио Амодеи и Сэм Альтман, искренне считают, что эта технология неизбежна. Создать ИИ не так уж трудно: нужно много вычислительных ресурсов и данных, правильно организовать процесс обучения, а затем постепенно развивать модель с помощью стохастического градиентного спуска и обучения с подкреплением. В результате получится сверхразумная модель.

Они искренне верят, что при базовом понимании технологии создать такую систему не так сложно, а значит, кто-нибудь всё равно это сделает. И неважно, будет ли это американская или китайская ИИ-компания, террористическая организация или академическая лаборатория.

Поэтому, с их точки зрения, человечеству выгоднее, чтобы систему первой создала команда, которая всерьёз думает о безопасности: она сможет установить правила для всей отрасли. Не уверен, что полностью согласен с этим доводом, но такова логика этих людей и причина, по которой они считают свою работу оправданной.

— В конце книги вы пишете, что надеетесь: эти люди всё сделают правильно и притормозят, чтобы вы могли продолжать жить как раньше. Книга выходит как раз в момент, когда активно обсуждают безопасность ИИ, а компании почти каждый день сообщают о новых нарушениях и проблемах с моделями. Насколько вы сейчас напуганы, Кевин Рус?

— Сейчас я настроен довольно оптимистично по сравнению с тем, как чувствовал себя несколько месяцев назад. Главная причина — мы наконец обсуждаем эту тему.

Люди, в том числе многие мои собеседники для книги, уже 10–15 лет беспокоятся о вышедшем из-под контроля ИИ, непослушных системах и возможном захвате власти машинами. Они пытались предупредить об опасности, но им не верили. За пределами небольшого круга специалистов по безопасности ИИ все отвечали примерно так: «Да-да, конечно». Теперь эта тема наконец вошла в рамки допустимой общественной дискуссии.

Часть того, что я вижу в социальных сетях и новостях, кажется мне преувеличенной и чрезмерно драматичной. Я не отрицаю серьёзность возможных последствий, но, по-моему, если с ИИ случится что-то ужасное, это окажется куда обыденнее, чем мы думаем, и будет связано скорее с человеческими ошибками, чем с причинами, которые мы иногда предполагаем.

— Понимаю. И уточню: я не утверждаю, что точно знаю, каких рисков нам следует бояться больше всего. Но есть целая категория угроз, которую прежде игнорировали или преуменьшали: мол, об этом говорят только какие-то странные люди в Беркли. Теперь мы можем обсуждать это всерьёз.

Люди тревожатся и относятся к проблеме серьёзно. У нас появилась возможность что-то изменить или предпринять шаги, чтобы для человечества всё закончилось лучше. Ещё несколько месяцев назад, как мне кажется, такой возможности не было.

Поэтому я и стал настроен оптимистичнее: модели объективно становятся хуже и опаснее, но мы лучше готовы замечать, обсуждать и, возможно, предотвращать связанные с ними риски.

— На последней странице книги я почувствовала страх и нежелание слишком быстро менять свою жизнь. Не хочу приписывать вам эмоции, но, по-моему, это знакомое многим чувство.

— Согласен. Люди внутри пузыря ИИ часто не понимают остальной мир. Тем, кто создаёт эту технологию в ИИ-компаниях, обычно нравится перспектива крупных и неожиданных социальных перемен.

— «Неожиданные социальные перемены». Для меня трудно представить кошмар хуже.

— Им нравится, когда всё становится странным. Отчасти поэтому они переехали в Сан-Франциско: хотят жить в будущем. Радикальные перемены их не пугают.

— Вам не кажется, что это большая проблема?

— Кажется, потому что обычные люди так не думают. Они хотят жить в мире, который им понятен, и хотят, чтобы дети росли в обществе, похожем на то, в котором выросли они сами. Мы как общество плохо справляемся с переменами — и всегда плохо справлялись. Поэтому мне хотелось бы, чтобы в ключевых дискуссиях о технологии участвовало больше разных людей.

Как я уже говорил, все важные решения приняли примерно 50 человек в Сан-Франциско — и они не представляют общество. Это очень необычные люди с другим взглядом на мир и более высокой терпимостью к переменам, чем у большинства. Думаю, поэтому они приняли некоторые решения, которые уже нельзя отменить.

— Если бы два года назад в этих обсуждениях участвовало больше философов, художников, представителей творческих профессий, журналистов, юристов и других специалистов, это что-то изменило бы? На другой стороне было так много денег.

— Я хочу сказать, что широкий круг участников полезен, но пожертвования Грега Брокмана администрации Трампа помогают ему получить звонок в Белый дом. У этих людей есть телефон президента. Доступ к тем, кто принимает решения, достался примерно 50 людям в Сан-Франциско благодаря их богатству и влиянию.

Но участие разных специалистов может повлиять на отдельные решения. Например, в книге я подробно пишу об Аманде Аскелл. Она давно работает в Anthropic, а до этого работала в OpenAI. В WIRED недавно вышел материал о поисках самой влиятельной женщины Кремниевой долины. Думаю, Аскелл определённо входит в число двух-трёх главных претенденток.

Она отвечает за характер Claude; в Anthropic её называют матерью Claude. Аскелл — этик добродетели, у неё докторская степень по философии. Она пришла в ИИ, чтобы разбираться, каким должна быть хорошая система, как ей следует себя вести, какие ценности представлять, от каких действий отказываться и какие предлагать. Её интересовало, можно ли научить чат-бота чему-то похожему на этику добродетели. Тогда это было крайне редким направлением исследований. Насколько я знаю, она первой занималась такой работой внутри одной из ИИ-компаний.

В результате в Anthropic сложился продуманный подход к моральной стороне работы Claude. Теперь у Аскелл целая команда. Думаю, это помогло сделать Claude не только безопаснее и лучше управляемым, но и вдохновило другие лаборатории нанимать философов и искать способы обучать ИИ моральному поведению.

Участие специалистов из разных областей очень важно: разработкой таких технологий не должны заниматься одни инженеры.

— У меня степень бакалавра по философии, так что могу сказать: для таких, как я, сейчас хорошее время.

— В книге много тревожного. Что кажется вам обнадёживающим — в самой книге и в технологии? Кроме того, что мы, возможно, добьёмся заметного прогресса в регулировании, было ли что-то в ваших исследованиях, что придало вам оптимизма?

— Большая часть моего оптимизма связана с наукой и медициной. Мой отец умер от рака. Я знаю и других людей, которые потеряли близких из-за редких болезней, для которых так и не нашли лечения. Не потому, что нам не хватает изобретательности, а потому, что нужны ресурсы и специалисты. Думаю, ИИ может очень помочь людям, страдающим от болезней. И это не просто рекламные обещания.

В книге есть история о системе DeepMind для прогнозирования структуры белков, за которую присудили Нобелевскую премию. После этого прорыва мать ребёнка с опасным для жизни генетическим заболеванием написала исследователям DeepMind и спросила: «Может ли это помочь моему ребёнку?» Им пришлось честно ответить: скорее всего, нет, потому что такие вещи требуют времени. Разработки нужно проверить в клинических испытаниях. Даже после научного прорыва ещё предстоит создать лекарство, протестировать его и получить разрешение на применение.

Могут пройти десять лет, прежде чем такие разработки начнут спасать жизни. Я хочу, чтобы это происходило быстрее, чтобы появлялось больше лекарств, разработанных с помощью ИИ, и чтобы они быстрее доходили до пациентов. Не хочу, чтобы люди продолжали умирать от болезней, которые уносили жизни предыдущих поколений.

Вот что сейчас вселяет в меня надежду. Спросите через две недели — возможно, я назову что-то другое. Но сегодня я думаю именно об этом.

— Хочу поговорить о том, как вы сами используете ИИ. До этой книги у вас вышло три книги. Первая была опубликована в 2009 году, задолго до появления нынешних технологий. Как ИИ повлиял на работу над книгой? Знаю, что вы открыто рассказываете о его использовании, иногда вызывая недовольство коллег-журналистов.

— В начале книги есть целый раздел о том, как я использовал ИИ и для чего не использовал. Мне казалось важным прежде всего рассказать об этом открыто.

— Кевин, буду откровенна: я проверила вашу книгу с помощью Pangram.

— Книгу написал человек. Предположительно, вы.

— Да, её написал очень уставший, перегруженный и невыспавшийся человек. Мне помогала исследовательница Джасмин Сан, а в издательстве FSG книгу редактировала отличная команда.

— Книгу полностью написал человек. Но как вы использовали технологии?

— В NotebookLM у меня была огромная записная книжка со всеми материалами: расшифровками интервью, журнальными статьями и научными работами. В самом простом случае я задавал ей вопросы о том, что мне нужно было найти. Например: «Собери все истории, которые я слышал о предварительном обучении GPT-4». В ответ она выдавала список — примерно как поисковая система с дополнительными возможностями.

Я использовал её и для отдельных задач в работе репортёра. Например, чтобы выяснить, кто из трёх человек присутствовал при принятии решения и как с ними связаться. ИИ помогал организовывать заметки и проверять факты. В конце книгу проверял человек, но параллельно фактами занималась группа ИИ-агентов. Они заметили несколько вещей, которые пропустили и я, и человек-редактор.

Ещё я использовал ИИ для редакторских замечаний. Я называю это «советом Клодов»: это группа Claude, где каждому назначена отдельная личность и точка зрения. Один — убеждённый скептик по отношению к языковым моделям. Он читает черновик и указывает, с чем не согласен: например, где я приписываю модели человеческие качества или пишу так, будто она действительно думает. Другой — футурист в духе Рэймонда Курцвейла, который хочет расширить представление о будущем в книге.

Часть этих замечаний была пустой тратой времени и, возможно, отняла его больше, чем сэкономила. Но несколько раз «совет Клодов» указывал на то, после чего я думал: «Да, хорошее замечание. Надо вернуться и переписать этот фрагмент».

— Как вы относитесь к ценности текста, написанного человеком? Будет ли через пять лет обычному читателю важно, что эту книгу написал Кевин, а не ИИ?

— Думаю, это очень важно. Исследования показывают: когда люди читают текст, сгенерированный ИИ, но не знают об этом, они высоко его оценивают и в слепых тестах предпочитают текстам, написанным людьми. Но стоит сказать, что текст создал ИИ, и он им сразу перестаёт нравиться.

Думаю, дело в психологии. Нам хочется верить, что человек много работал ради нас и что его текст отражает подлинный взгляд. Поэтому люди и дальше будут возмущаться, узнав, что их любимый автор использовал ИИ для создания книги, эссе или другого текста.

Но реакция возникает, только если человек может это распознать. Не думаю, что люди сейчас умеют это делать — и смогут в будущем. Пока существует Pangram, такой инструмент, вероятно, будет полезен. Но в целом люди просто не замечают разницы. Если им сказать о ней, они начинают придавать ей значение; до этого — нет.

— Интересно. Получается, важно знать, что человек приложил руку к тексту, что вы слышите его голос, а не голос Claude.

— Думаю, поэтому авторам важно показывать свой рабочий процесс: рассказывать о нём и буквально снимать себя за работой. Так читатели смогут увидеть, сколько усилий вложено в создание произведения. Для людей любых творческих профессий это будет важно.

— Вы с Кейси собираетесь запустить серию таких видео в соцсетях?

— Да, я веду прямую трансляцию, где пишу по 16 часов в день на Twitch. Заходите посмотреть.

— Звучит ужасно. Кевин, поздравляю с книгой. Спасибо, что пришли. Было очень интересно.