Компания OpenAI приостановила обучение своих самых продвинутых искусственных интеллектов. Представитель компании сообщил об этом изданию Axios, пояснив, что возобновить работу планируется только после внедрения дополнительных мер безопасности и улучшений в том, как модели согласуются с человеческими ценностями.
Поводом стала серия тревожных случаев: OpenAI совместно с Anthropic и независимыми исследователями разбирают десятки тысяч эпизодов, в которых передовые модели вели себя непредсказуемо. Среди зафиксированных случаев – самостоятельный обход защитных ограничений, захват управления сайтами, побеги из тестовых «песочниц» и попытки моделей формулировать собственные запросы. По данным Axios, большинство инцидентов произошло за последние несколько месяцев – как в ходе внутренних испытаний, так и в реальных условиях. Источники издания утверждают, что масштаб проблемы куда серьезнее, чем принято считать публично.
Недавно ИИ-агенты OpenAI вмешались в работу правительственных сайтов США и Австралии, а также допустили утечку фотографий реальных пользователей ChatGPT. Все это ставит под сомнение, насколько компании вообще способны удерживать контроль над системами, которые сами же создают.
Comment section