Как измерять темп прогресса
Обсуждения замедления развития ИИ обострились после того, как бывший исследователь OpenAI и Anthropic заявил, что компании «играют нашими жизнями». В заявке Anthropic на IPO также говорилось, что технология может нести «катастрофические или экзистенциальные риски для общества».
Затем глава Anthropic Дарио Амодеи опубликовал план по регулированию темпов развития передовых моделей. Его, по-видимому, поддержали глава OpenAI Сэм Альтман и глава SpaceX Илон Маск. Среди предложений Амодеи — общие стандарты безопасности и ограничения на скорость неконтролируемого прогресса ИИ.
Чтобы ограничивать эту скорость, нужно договориться, как её измерять. Пачоцки считает, что для этого может подойти перплексия — показатель, не связанный с одноимённой компанией. Альтман назвал публикацию Пачоцки одной из важнейших работ OpenAI за последнее время.
Что показывает перплексия
Бенчмарки, оценивающие способности ИИ в прикладных задачах, быстро устаревают по мере развития технологии. Перплексия, напротив, по словам Пачоцки, сохраняет информативность: она показывает, насколько хорошо модель в среднем предсказывает следующий токен. Чем ниже показатель, тем точнее предсказания.
В публикации приведён график снижения перплексии моделей OpenAI начиная с GPT-3.5. Пачоцки отмечает, что GPT-4 с показателем около 0,91 уже эффективно использовала рассуждения по цепочке. Это подтолкнуло исследователей целенаправленно выявлять такую способность и создавать современные модели рассуждения. Когда показатель опустился ниже 0,8, появились преобразующие способности в таких областях, как кибербезопасность и математика.
Пачоцки предлагает сделать перплексию общей мерой общего интеллекта, на основе которой компании смогут установить совместные ограничения. При этом они должны будут договориться не преодолевать выбранный порог, пока способность понимать и отслеживать поведение ИИ не достигнет конкретного уровня.
По оценке Dataist, предложение связывает ограничения на развитие моделей с измеримым показателем, но само по себе не задаёт ни порог перплексии, ни критерии готовности систем контроля. Эти параметры компаниям ещё предстоит согласовать.
Читайте также
Модель машинного обучения прошла все тесты. Но что они могли упустить?
Почему дата-центры оказались в центре протестов против Big Tech
Анализ: руководители дата-центров почти 120 раз встречались с премьерами штатов и министрами Австралии за три года
Новый Monitor API Perplexity превращает разовый веб-поиск в непрерывное наблюдение за сетью
В новом фильме Дэвида Финчера, похоже, полно ИИ
Удастся ли сохранить хрупкое согласие по ИИ в разгар политической горячки — или парламент уйдёт на каникулы, так и не договорившись?
Сообщество Lean и Mathlib официально подтвердило корректность доказательства гипотезы Римана Левентом Альпёге
Специалисты по безопасности показали, как дешёвые ИИ-сервисы воруют ключи и следят за пользователями
Нелепое объявление о продаже с помощью ИИ превратило разваливающуюся хижину убийств в красивый коттедж
Банки сыты по горло вашими ИИ-агентами
«Серьёзная ошибка»: возмущение из-за презентации военного ИИ в арт-комплексе Берлина
Через несколько часов после заявления Anthropic о доказательстве гипотезы Римана с Claude Стэнфорд представил конкурирующий черновик, написанный без ИИ
«Ошибаться почти нельзя»: что закредитованная облачная компания говорит о буме ИИ
Даже самые быстрые ИИ-кластеры могут тормозить из-за процессов выпуска обновлений
Священник: попытки Кремниевой долины найти «душу» ИИ глубоко тревожат
Одержимость Кремниевой долины гибелью человечества из-за ИИ толкает часть техноиндустрии к почти культовому поклонению
«Я выпускаю монстра из клетки»: сценарист «Таксиста» Пол Шрейдер — о том, как осваивает ИИ в 80 лет
Знаете эти ИИ-чипы, которые приносят миллиарды? Рабочие, собирающие их, говорят, что им платят гроши, — и теперь понимают, что у них есть рычаг влияния
Две организации подтвердили заявление математика: Claude помог доказать математическую гипотезу
OpenAI поделилась новыми подсказками для GPT-6.2 Astra и Sol: как избежать кратких ответов и лишних вопросов
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram