Что показывают нейроны
Каммарата, раньше работавший в OpenAI, а теперь — в стартапе Goodfire, пишет, что реакцию нейронов ИИ на отдельные стимулы годами считали почти принципиально непонятной. Например, никто не знал, почему один и тот же нейрон активируется при виде кошки и автомобиля.
Главным объяснением была суперпозиция: поскольку нейронов в модели ограниченное число, они перестают объединять похожие вещи и начинают связывать несвязанные — если те не мешают друг другу. В результате возникает своего рода узел: сеть могла сложиться множеством почти одинаково подходящих способов, поэтому по тому, какие понятия объединяет нейрон, трудно что-либо понять.
Но, по словам Каммараты, нейроны не запутаны в узлы, а устроены «чисто». В одном из его примеров нейрон срабатывает и на изображение кошачьей морды, и на переднюю часть автомобиля. На первый взгляд, эти понятия не связаны. Однако, если рассмотреть изображения внимательнее, в обоих есть V-образная форма. Каммарата объясняет, что это нейрон не кошки и машины, а V-образной формы. По его мнению, модели ИИ устроены понятнее, чем считалось раньше.
Что говорят критики
Не все разделяют оптимизм Каммараты. Исследователь Google DeepMind Нил Нанда, который руководит работой компании над механистической интерпретируемостью, назвал исследование интересным, но не считает, что оно существенно меняет общую картину. Он по-прежнему считает суперпозицию реальной и отмечает, что новая работа не меняет его ключевых сомнений.
Кроме того, пока непонятно, позволит ли понимание функций отдельных нейронов предсказать, как они работают вместе. Это может выглядеть как удобное техническое решение гораздо более масштабной проблемы. Безопасность моделей ИИ зависит не только от ограничителей: необходимы также правовые и общественные механизмы.
Судя по сильному отклику на работу Каммараты, она может заметно повлиять на понимание внутренних механизмов ИИ. Но пока её выводы не проверены и не прошли рецензирование.
Читайте также
Приложения GLP-1 рекламируют рыдающие женщины, созданные ИИ
В Австралии призывают усилить защиту частной жизни работников: работодатели всё чаще следят за ними с помощью ИИ
Обычный мужчина так уверенно врёт об ИИ, что заявит, будто знаком с несуществующим руководителем
Распродажа акций ИИ добралась и до тех, что инвесторы считали надёжными
Stripe: покупки через ИИ-агентов растут, но компания не раскрывает цифры
Робот, которого я не ожидал создать
Передел рынка ИИ-облаков уже близко — Nvidia рискует больше всех
Исследователи оставили Claude на виртуальном острове — и он начал «играть»
Отчёт: подростки в США обходят родительский контроль Apple и Google и скачивают приложения для раздевания людей на фото
Музыкальная организация предупреждает: ИИ уже обучали на песнях Кайли Миноуг, пока технокомпании давят на власти Австралии
Инвестиции в общественное благо
Режиссёр спустил $1,5 млн на чудовищный ИИ-фильм, но говорит, что сэкономил десятки миллионов
Disney согласилась нанять большинство сотрудников Character.AI
Что такое самовоспроизводящиеся «ИИ-черви» и почему они тревожат Anthropic?
Начальники внедряют шпионское ПО с ИИ, чтобы следить за сотрудниками без перерыва
Microsoft вышла из проекта ИИ-дата-центра в Эссексе из-за проблем с электроснабжением
Четыре агента Gemini 4 Argon прошли Minecraft без помощи человека
Мировым лидерам пора осознать угрозу кибератак — иначе взломанные холодильники покажутся меньшей из проблем
ИИ-агенты ради возврата $465 за поезд разыграли болезни, раскрыли медицинские данные и завалили письмами приёмную депутата
Агент Muse от Meta прислал мужчине настолько странное сообщение, что тот навсегда отказался от него
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram