ИИ-функции Apple Watch для воспоминания и краткого пересказа разговоров вышли в бета-тестирование

Источник: techcrunch.com

Распознавание звуков поможет глухим и слабослышащим пользователям замечать сирены, сигналы тревоги и звонки в дверь. Функция распознавания песен использует Shazam: она определяет музыку на фоне и показывает название композиции и исполнителя.

Больше всего вопросов могут вызвать две функции, которые слушают человеческую речь: Live Rewind и Siri Recaps.

После критики устройств с функциями записи на основе ИИ, включая очки Meta и другие носимые гаджеты, Apple пытается сделать эти возможности полезными для владельцев Apple Watch и одновременно учитывать приватность окружающих.

Как работают Live Rewind и Siri Recaps

Live Rewind позволяет вернуться к словам собеседника, если вы не расслышали сказанное. Например, если вам объясняют дорогу или зачитывают длинный список специальных предложений в ресторане, дважды нажмите на колесико Digital Crown: на экране часов появится текст сказанного за последние 15 секунд.

Фрагмент можно просмотреть и ничего с ним не делать — тогда он исчезнет навсегда. Или его можно сохранить в отдельном приложении Siri, которое появилось в iOS 27. Это пригодится, например, чтобы запомнить чье-то имя или быстро записать важную мысль во время быстрой презентации.

Под текстом появится кнопка «Спросить Siri». С ее помощью можно уточнить что-то из сказанного — например, значение незнакомого технического термина или название соуса, о котором упомянул официант.

При двойном нажатии на Digital Crown часы издают звуковой сигнал и показывают анимацию. Жест, звук и изображение вместе должны дать окружающим понять, что речь была записана. Если не сохранить фрагмент, он автоматически удалится через 30 секунд.

Источник: techcrunch.com

Siri Recaps позволяет владельцам Apple Watch делать краткие заметки о разговорах. По словам Apple, функция не определяет, кто именно говорит, не сохраняет исходную аудиозапись и не создает дословную расшифровку. Вместо этого она составляет короткое резюме и список ключевых пунктов. В зависимости от темы в них могут попасть важные даты и сроки, цены и условия оплаты, а также другие факты.

Apple предлагает использовать функцию на рабочих встречах, родительских собраниях в школе, тренировках с инструктором и в других ситуациях, когда нужно запомнить поручения или сказанное. Siri Recaps должна напоминать собственные заметки пользователя, не добавляя эмоций и интонаций.

Это может помочь, когда вы не можете записывать сами — например, если заняты руки или нужно сосредоточиться на разговоре. Функция не будет записывать речь, пока вы слушаете музыку в наушниках или используете шумоподавление.

В конце дня Apple Watch предложат просмотреть сохраненные резюме и выбрать, какие из них оставить. Заметки можно сохранить в приложении «Заметки» или, если они носят личный характер, экспортировать в приложение «Дневник». Если ничего не делать, резюме удалятся в течение семи дней.

Напоминание о проверке резюме появится и при первой разблокировке Apple Watch утром.

Siri Recaps можно включать вручную или настроить расписание — например, запускать функцию только на работе или отключать ее на ночь. Даже при включенном расписании запись можно в любой момент остановить через Пункт управления.

Apple утверждает, что Siri Recaps не включает в резюме чувствительные сведения: государственные идентификаторы, финансовые данные и данные для аутентификации, некоторые личные идентификаторы, а также высказывания, поощряющие причинение вреда себе.

Источник: techcrunch.com

Как обрабатывается аудио

Audio Intelligence для Apple Watch Series 12 и Apple Watch Ultra 4 использует аппаратное обеспечение, программное обеспечение и сервисы Apple. В их числе чип S11, встроенный микрофон, модели Apple Intelligence, работающие на iPhone, и Private Cloud Compute от Apple.

В постоянно работающем процессоре есть защищенная область памяти — Secure Enclave. Она изолирована на уровне оборудования и недоступна остальной операционной системе. В ней специальный буфер обрабатывает исходный звук, не открывая к нему доступ другим системам, включая Apple. Аудио может получить только подключенный iPhone — через защищенное соединение с часами.

Легкие модели ИИ на чипе S11 определяют, идет ли разговор с участием владельца часов, и передают запись в Secure Enclave на iPhone. Там аудио преобразуется в сокращенный текст: из него удаляются слова-паразиты. Затем текст шифруется и отправляется в Private Cloud Compute (PCC), где создается краткое резюме, которое возвращается на телефон. Само резюме и использованные для его создания сводки сразу удаляются из PCC.

Открыть резюме на iPhone можете только вы — Apple не имеет к ним доступа. При синхронизации между устройствами Apple они также шифруются.

Для создания 15-секундных фрагментов Live Rewind Apple Watch так же передают аудио на iPhone.

По словам Apple, эти функции не должны влиять на время работы часов или телефона от батареи. Перед публичным запуском их откроют для более широкого тестирования в публичной бета-версии.