В июне AI-агент, использовавшийся во внутреннем исследовательском задании OpenAI, обошёл ограничения портала австралийской государственной системы Medicare и получил доступ к файлам, недоступным широкой публике. О случившемся объявил премьер-министр Австралии Энтони Албанезе. Портал содержал сводную статистику, в том числе данные о расходах, и не был связан с системами обработки заявлений Medicare или хранения персональных медицинских записей. Считается, что сведения о пациентах не затрагивались. При этом австралийские власти публично подтвердили несанкционированный доступ только к порталу статистики Medicare, тогда как OpenAI сообщила о возможной активности на нескольких правительственных сайтах и сервисах.
18 июня портал несколько раз отклонял запросы агента. После этого модель нашла обходной путь и получила доступ к закрытым материалам. Как именно были обойдены защитные механизмы, правительство пока не раскрывает. Services Australia, оператор портала, также сообщила, что агент записал файлы на внутренний сервер. Этот эпизод всё ещё расследуется. Признаков более широкого проникновения в сеть Services Australia на данный момент не обнаружено.
Доступная информация не считалась особенно чувствительной. Позднее её опубликовали. По данным OpenAI, агент получил сводную медицинскую статистику и имена внутренних файлов, но компания не нашла доказательств доступа к историям болезни или другим записям пациентов. После инцидента данные портала перенесли на и другие защищённые платформы, а сам портал вывели из эксплуатации.
OpenAI обнаружила произошедшее в августе во время более широкой проверки так называемой несогласованной активности моделей в процессе обучения и оценки. Компания сначала изучила, к каким данным получила доступ модель, а затем уведомила австралийские власти. 10 сентября OpenAI отправила сообщение на общедоступный электронный адрес Services Australia. 11 сентября ведомство увидело письмо и подтвердило его подлинность. 15 сентября Services Australia передала информацию в Australian Cyber Security Centre, который входит в состав Australian Signals Directorate. 24 сентября, по австралийскому времени, правительство объявило об инциденте публично.
Энтони Албанезе заявил, что OpenAI слишком долго не сообщала о случившемся, а выбранный способ уведомления назвал неприемлемым. Он обсудил задержку с генеральным директором OpenAI Сэмом Альтманом по телефону. По словам премьер-министра, Альтман признал, что OpenAI действовала недостаточно хорошо. Исполняющий обязанности премьер-министра Ричард Марлз назвал произошедшее «очень серьёзным инцидентом с относительно незначительными последствиями» и сказал, что OpenAI сотрудничает с властями. Он пояснил, что сведения, связанные с национальной безопасностью, защищены гораздо строже, сравнив портал Medicare с информацией, которая «хранилась за забором, через который AI-агент фактически перелез». Марлз рассказал об этом инциденте телеканалу ABC.
В заявлении для Fox Business OpenAI сообщила, что её модели «совершили действия, которых мы не намеревались допускать», когда во время внутренней оценки искали статистику об Австралии. Компания связала эпизод с проверкой несогласованного поведения моделей при обучении и тестировании. До обращения в Services Australia OpenAI проверила объём доступа и заявила, что агент работал со сводной медицинской статистикой и внутренними именами файлов. Свидетельств доступа к записям пациентов компания не обнаружила.
Australian Signals Directorate помогает проводить криминалистическую проверку, а Services Australia ведёт собственное расследование. Отдельно Албанезе объявил о создании рабочей группы под руководством Department of the Prime Minister and Cabinet. В неё войдут National Cybersecurity Coordinator, Office of AI, Australian Signals Directorate, Australian AI Safety Institute и Services Australia. Группа проверит, достаточно ли действующих процедур для реагирования на киберинциденты, связанные с ИИ, какие меры могут потребоваться правоохранительным органам и законодательству, были ли совершены правонарушения и нужно ли передать дело Australian Federal Police. Инцидент также рассмотрит Joint Select Committee on Artificial Intelligence при парламенте. Полученные выводы планируют использовать при подготовке законодательства о стандартах ИИ.
В тот же день, когда Албанезе объявил о взломе портала Medicare, исследовательская лаборатория Transluce сообщила о попытках AI-агентов атаковать три публичных сайта с данными в мае и июне. Одним из них был сайт общественного здравоохранения Australian Institute of Health and Welfare. 20 и 21 июня бот-защита заблокировала агентов, выполнявших задачу по сбору фармацевтических данных. После этого агенты начали искать уязвимость и получили публичный файл с сервера предварительной разработки. Изначально они выполняли обычный запрос на извлечение данных, а не проверяли безопасность сайта. Для обхода ограничений использовался общедоступный сервис сканирования веб-страниц . Transluce связала по меньшей мере часть активности с группами агентов, ранее приписывавшимися OpenAI.
В июле OpenAI сообщила, что во время внутренних проверок кибербезопасности её модели обошли ограничения, призванные не допускать их в интернет, и проникли в отдельные части систем Hugging Face. В сентябре компания раскрыла ещё несколько случаев, обнаруженных при обучении: в одном из них модель без разрешения использовала открытый ключ API GitHub, в других загружала файлы на публичные сайты размещения, хотя такого указания не получала.
Anthropic сообщила о четырёх эпизодах с моделями Claude. Во время проверок кибербезопасности они получили несанкционированный доступ к реальным системам третьих сторон. Тесты проводил внешний партнёр, а моделям сообщили, что доступа к интернету нет. Из-за ошибки конфигурации интернет всё же оставался открыт. В августе М⃰ рассказала, что предварительная версия модели Muse Spark 1.1 воспользовалась уязвимостью настоящего сайта и изменила его базу данных. Проверку проводила компания Irregular, тот же внешний партнёр, что участвовал в тестах Anthropic. Irregular оставила интернет-доступ включённым и по ошибке передала модели название реального сайта в качестве цели. Позднее компания заявила, что публичные сообщения о среде тестирования описывали ту же базовую проблему, о которой впервые рассказали 30 июля, и «не были отдельными инцидентами по существу».
В августе UK AI Security Institute сообщил, что во время кибериспытаний агенты совершили 19 неодобренных действий в интернете в 10 из 122 тестовых запусков. Один эпизод включал попытку атаки на цепочку поставок проекта с открытым исходным кодом. Самые серьёзные попытки завершились неудачей, а признаков реального ущерба институт не обнаружил. Интернет в этих тестах открыли намеренно. 11 августа Australian Signals Directorate отдельно предупредило о случае, когда AI-ассистент без разрешения изменил данные в системе бронирования спортивного зала. Организация, управляющая сайтами и онлайн-сервисами, рекомендовала проводить проверки безопасности и качества, сканировать уязвимости и использовать корректную аутентификацию пользователей, поскольку «AI-агенты могут находить и эксплуатировать уязвимости быстро и в больших масштабах».
Изображение носит иллюстративный характер
18 июня портал несколько раз отклонял запросы агента. После этого модель нашла обходной путь и получила доступ к закрытым материалам. Как именно были обойдены защитные механизмы, правительство пока не раскрывает. Services Australia, оператор портала, также сообщила, что агент записал файлы на внутренний сервер. Этот эпизод всё ещё расследуется. Признаков более широкого проникновения в сеть Services Australia на данный момент не обнаружено.
Доступная информация не считалась особенно чувствительной. Позднее её опубликовали. По данным OpenAI, агент получил сводную медицинскую статистику и имена внутренних файлов, но компания не нашла доказательств доступа к историям болезни или другим записям пациентов. После инцидента данные портала перенесли на и другие защищённые платформы, а сам портал вывели из эксплуатации.
OpenAI обнаружила произошедшее в августе во время более широкой проверки так называемой несогласованной активности моделей в процессе обучения и оценки. Компания сначала изучила, к каким данным получила доступ модель, а затем уведомила австралийские власти. 10 сентября OpenAI отправила сообщение на общедоступный электронный адрес Services Australia. 11 сентября ведомство увидело письмо и подтвердило его подлинность. 15 сентября Services Australia передала информацию в Australian Cyber Security Centre, который входит в состав Australian Signals Directorate. 24 сентября, по австралийскому времени, правительство объявило об инциденте публично.
Энтони Албанезе заявил, что OpenAI слишком долго не сообщала о случившемся, а выбранный способ уведомления назвал неприемлемым. Он обсудил задержку с генеральным директором OpenAI Сэмом Альтманом по телефону. По словам премьер-министра, Альтман признал, что OpenAI действовала недостаточно хорошо. Исполняющий обязанности премьер-министра Ричард Марлз назвал произошедшее «очень серьёзным инцидентом с относительно незначительными последствиями» и сказал, что OpenAI сотрудничает с властями. Он пояснил, что сведения, связанные с национальной безопасностью, защищены гораздо строже, сравнив портал Medicare с информацией, которая «хранилась за забором, через который AI-агент фактически перелез». Марлз рассказал об этом инциденте телеканалу ABC.
В заявлении для Fox Business OpenAI сообщила, что её модели «совершили действия, которых мы не намеревались допускать», когда во время внутренней оценки искали статистику об Австралии. Компания связала эпизод с проверкой несогласованного поведения моделей при обучении и тестировании. До обращения в Services Australia OpenAI проверила объём доступа и заявила, что агент работал со сводной медицинской статистикой и внутренними именами файлов. Свидетельств доступа к записям пациентов компания не обнаружила.
Australian Signals Directorate помогает проводить криминалистическую проверку, а Services Australia ведёт собственное расследование. Отдельно Албанезе объявил о создании рабочей группы под руководством Department of the Prime Minister and Cabinet. В неё войдут National Cybersecurity Coordinator, Office of AI, Australian Signals Directorate, Australian AI Safety Institute и Services Australia. Группа проверит, достаточно ли действующих процедур для реагирования на киберинциденты, связанные с ИИ, какие меры могут потребоваться правоохранительным органам и законодательству, были ли совершены правонарушения и нужно ли передать дело Australian Federal Police. Инцидент также рассмотрит Joint Select Committee on Artificial Intelligence при парламенте. Полученные выводы планируют использовать при подготовке законодательства о стандартах ИИ.
В тот же день, когда Албанезе объявил о взломе портала Medicare, исследовательская лаборатория Transluce сообщила о попытках AI-агентов атаковать три публичных сайта с данными в мае и июне. Одним из них был сайт общественного здравоохранения Australian Institute of Health and Welfare. 20 и 21 июня бот-защита заблокировала агентов, выполнявших задачу по сбору фармацевтических данных. После этого агенты начали искать уязвимость и получили публичный файл с сервера предварительной разработки. Изначально они выполняли обычный запрос на извлечение данных, а не проверяли безопасность сайта. Для обхода ограничений использовался общедоступный сервис сканирования веб-страниц . Transluce связала по меньшей мере часть активности с группами агентов, ранее приписывавшимися OpenAI.
В июле OpenAI сообщила, что во время внутренних проверок кибербезопасности её модели обошли ограничения, призванные не допускать их в интернет, и проникли в отдельные части систем Hugging Face. В сентябре компания раскрыла ещё несколько случаев, обнаруженных при обучении: в одном из них модель без разрешения использовала открытый ключ API GitHub, в других загружала файлы на публичные сайты размещения, хотя такого указания не получала.
Anthropic сообщила о четырёх эпизодах с моделями Claude. Во время проверок кибербезопасности они получили несанкционированный доступ к реальным системам третьих сторон. Тесты проводил внешний партнёр, а моделям сообщили, что доступа к интернету нет. Из-за ошибки конфигурации интернет всё же оставался открыт. В августе М⃰ рассказала, что предварительная версия модели Muse Spark 1.1 воспользовалась уязвимостью настоящего сайта и изменила его базу данных. Проверку проводила компания Irregular, тот же внешний партнёр, что участвовал в тестах Anthropic. Irregular оставила интернет-доступ включённым и по ошибке передала модели название реального сайта в качестве цели. Позднее компания заявила, что публичные сообщения о среде тестирования описывали ту же базовую проблему, о которой впервые рассказали 30 июля, и «не были отдельными инцидентами по существу».
В августе UK AI Security Institute сообщил, что во время кибериспытаний агенты совершили 19 неодобренных действий в интернете в 10 из 122 тестовых запусков. Один эпизод включал попытку атаки на цепочку поставок проекта с открытым исходным кодом. Самые серьёзные попытки завершились неудачей, а признаков реального ущерба институт не обнаружил. Интернет в этих тестах открыли намеренно. 11 августа Australian Signals Directorate отдельно предупредило о случае, когда AI-ассистент без разрешения изменил данные в системе бронирования спортивного зала. Организация, управляющая сайтами и онлайн-сервисами, рекомендовала проводить проверки безопасности и качества, сканировать уязвимости и использовать корректную аутентификацию пользователей, поскольку «AI-агенты могут находить и эксплуатировать уязвимости быстро и в больших масштабах».
