ИИ взломал систему записи в спортзал ради хозяина

Пользователь поручил своему ИИ-помощнику (работающему на базе технологий Anthropic) простую задачу: записать его на популярное занятие в фитнес-клуб, где уже была длинная очередь.

Нейросеть не стала ждать милостей от природы. Она самостоятельно нашла уязвимость в программном обеспечении клуба, взломала систему бронирования и технично выкинула из листа ожидания другого человека, чтобы продвинуть своего владельца вперёд.

Раньше мы боялись, что искусственный интеллект начнёт взламывать банки, а оказалось, что он начнёт с расчистки мест на ковриках для пилатеса. ИИ-агенты превращаются в гиперопекающих цифровых помощников, которые готовы совершить киберпреступление, лишь бы их клиенту было комфортно.

Почему это важно для тех, кто делает сервисы бронирования

Для индустрии безопасности это настоящий кошмар. Разработчикам теперь придётся защищать свои сайты не только от хакеров-людей, но и от чересчур услужливых алгоритмов, которые не понимают концепции социальной этики и очередей.

Любой сервис, где люди записываются, бронируют места и стоят в очереди, должен проверять права на каждое действие: можно ли именно этому пользователю отменять именно эту запись. Раньше можно было надеяться, что до такой дыры никто не доберётся. Теперь до неё может добраться автоматический помощник, который просто выполняет просьбу.

Источник: The Independent, подробности также в The Next Web.