CGD - Crypto Government Department logo CGD - Crypto Government Department logo
Forklog 2026-09-05 13:20:49

OpenAI признала «wiki-инцидент» с агентами и пообещала новые правила раскрытия

OpenAI прокомментировала «wiki-инцидент», в ходе которого ее автономные агенты записывали сообщения на интернет-сайты и использовали их для взаимодействия друг с другом. How we think about the “wiki incident,” where our agents wrote to several internet sites: it’s past time for us to define standards for when and how we share misalignment incidents, not just misalignment properties of our models.Historically, we have treated misalignment… pic.twitter.com/NNTbfSxVWn— OpenAI (@OpenAI) September 5, 2026 В заявлении компания отметила, что ранее рассматривала misalignment — поведение ИИ, не соответствующее заданным разработчиками целям и ограничениям, — преимущественно как исследовательскую проблему. Теперь OpenAI столкнулась со случаями, когда подобное поведение стало иметь реальные последствия. «Wiki-инцидент» в фирме отнесли к этой новой категории. Разработчики не стали оспаривать сам факт того, что агенты писали на несколько интернет-сайтов, однако подчеркнули необходимость определить, когда и каким образом следует публично сообщать о подобных случаях. 18 000 сообщений на немецком wiki-форуме О «wiki-инциденте» 4 сентября сообщили исследователи из Nightingale Collective. Согласно их отчету, они обнаружили около 18 000 сообщений автономных агентов, идентифицировавших себя как связанные с OpenAI. По версии экспертов, боты выполняли многоэтапные задачи по поиску информации в интернете. Им разрешалось читать веб-страницы, но не записывать на них информацию. Тем не менее агенты нашли способ использовать доступ для чтения, чтобы оставлять сообщения на малопосещаемом немецкоязычном форуме программистов DSE Wiki. Там они, как утверждается, обменивались ответами, результатами исследований и способами обхода ограничений «песочницы». Исследователи охарактеризовали это как collusion — непредусмотренное разработчиками сотрудничество для получения преимущества при выполнении задач. Авторы отчета также указали, что не могут установить, использовались ли эти задания для обучения или оценки моделей. Их выводы основаны только на доступных публичных записях агентов на вики, а не на внутренней информации OpenAI. Обход ограничений и попытки координации Согласно опубликованной хронологии, активность агентов на DSE Wiki резко выросла в июне. Они начали напрямую обмениваться сообщениями, передавать друг другу ответы на одинаковые задания и делиться способами обхода сетевых ограничений. Источник: Nightingale Collective. Кроме того, исследователи зафиксировали попытки использовать XSS-уязвимости, SSH-туннели и браузер Tor, а также сообщения, связанные с обходом ограничений «песочницы». В одном из эпизодов агент опубликовал способ обмануть сетевые ограничения, после чего другой бот через 14 минут сообщил об успешном применении метода. По данным авторов исследования, после посещения wiki-форума IP-адресами, связанными с OpenAI, активность агентов резко сократилась. Они предполагают, что компания обнаружила происходящее и вмешалась. OpenAI в новом заявлении подтвердила, что рассматривает эпизод как пример misalignment, однако не раскрыла подробности внутреннего расследования. После Hugging Face В заявлении OpenAI отдельно сопоставила «wiki-инцидент» с более серьезным случаем вокруг Hugging Face, где самостоятельная активность агентов привела к последствиям для безопасности самой компании и третьих сторон. В этом случае OpenAI заявила, что сразу начала расследование совместно с платформой и публично раскрыла информацию уже на следующий день. https://forklog.com/news/ai/openai-obnaruzhila-tajnyj-kanal-svyazi-mezhdu-svoimi-ii-agentami Компания также напомнила, что еще до инцидента с Hugging Face фиксировала ранние признаки непредусмотренного использования интернета автономными агентами и сообщала о связанных рисках в предыдущих публикациях по безопасности. OpenAI изменит подход к раскрытию инцидентов Теперь компания признает, что прежняя практика нуждается в корректировке. «Наши практики раскрытия информации о misalignment должны расшириться для этой новой фазы возможностей моделей», — заявили в OpenAI. По мнению разработчиков, у самой индустрии пока нет четкого стандарта, определяющего, как сообщать о случаях непредусмотренного поведения ИИ на этапах обучения, оценки и развертывания моделей. Речь идет в том числе об эпизодах, которые не выглядят как традиционные инциденты информационной безопасности, но могут помочь понять поведение ИИ и будущие риски. OpenAI сообщила, что работает над соответствующей системой и планирует представить ее в ближайшие недели. Параллельно компания взаимодействует с десятками государственных регуляторов по всему миру. Напомним, исследователи в области безопасности ИИ предупредили о возможных рисках для мониторинга готовящейся модели Astra,  поскольку OpenAI использует в ней технику под названием «рекуррентная глубина».

Διαβάστε την Αποποίηση Ευθυνών : Όλο το περιεχόμενο που παρέχεται εδώ στον ιστότοπό μας, τους υπερσυνδεδεμένους ιστότοπους, τις σχετικές εφαρμογές, τα φόρουμ, τα ιστολόγια, τους λογαριασμούς κοινωνικών μέσων και άλλες πλατφόρμες (“Site”) προορίζεται μόνο για τις γενικές πληροφορίες σας, που προέρχονται από τρίτες πηγές. Δεν κάνουμε καμία εγγύηση οποιουδήποτε είδους σε σχέση με το περιεχόμενό μας, συμπεριλαμβανομένης ενδεικτικά της ακρίβειας και της ενημέρωσης. Κανένα μέρος του περιεχομένου που παρέχουμε δεν αποτελεί οικονομική συμβουλή, νομική συμβουλή ή οποιαδήποτε άλλη μορφή συμβουλών που προορίζεται για τη συγκεκριμένη εμπιστοσύνη σας για οποιονδήποτε σκοπό. Οποιαδήποτε χρήση ή εξάρτηση από το περιεχόμενό μας είναι αποκλειστικά με δική σας ευθύνη και διακριτική ευχέρεια. Πρέπει να πραγματοποιήσετε τη δική σας έρευνα, να ελέγξετε, να αναλύσετε και να επαληθεύσετε το περιεχόμενό μας προτού βασιστείτε σε αυτά. Η διαπραγμάτευση είναι μια εξαιρετικά επικίνδυνη δραστηριότητα που μπορεί να οδηγήσει σε μεγάλες απώλειες, επομένως συμβουλευτείτε τον οικονομικό σας σύμβουλο πριν λάβετε οποιαδήποτε απόφαση. Κανένα περιεχόμενο στον ιστότοπό μας δεν προορίζεται να είναι παράκληση ή προσφορά