CGD - Crypto Government Department logo CGD - Crypto Government Department logo
Forklog 2026-07-31 08:29:22

Anthropic признала три взлома реальных систем на тестах Claude

Компания Anthropic сообщила, что в ходе внутренних тестов кибербезопасности три ИИ-модели Claude получили несанкционированный доступ к системам реальных организаций.   https://twitter.com/AnthropicAI/status/2082965101083320543 Anthropic описала три инцидента, произошедшие во время проверок Claude на кибербезопасность. Из-за ошибочной конфигурации среда, которую в промптах обозначали как изолированную и без доступа к сети, на деле имела выход в интернет. Компания объяснила это недопониманием с внешним партнером Irregular. Как все начиналось Во всех трех случаях Claude было поручено выполнить задание по «захвату флага» — один из способов оценки кибервозможностей модели. Нейросети предоставляется вымышленный сценарий, в котором говорится, что секретная информация («флаг») спрятана на другом компьютере в сети, и ее цель — взломать систему и получить ее. Задание остается открытым, и конкретный метод не предписывается.  Проверку Anthropic начала после того, как 21 июля OpenAI раскрыла инцидент с выходом своих моделей из изолированной среды. Компания провела аудит 141 006 запусков, где Claude потенциально могла получить доступ к интернету, и нашла три инцидента в шести тестах. Что произошло Самый серьезный эпизод затронул четыре запуска Claude Opus 4.7. В одном из сценариев «вымышленная» компания получила название, совпавшее с реальным доменом. Не сумев добраться до симулированной цели, модель вышла на сайт реальной организации, восприняла его как часть задания, нашла и использовала уязвимости. В результате Claude получила учетные данные приложений и инфраструктуры, а также доступ к базе, содержавшей несколько сотен строк реальных данных. Это был единственный случай, когда модель продолжила атаку после того, как, судя по ее рассуждениям, поняла, что работает с реальной средой. Во втором инциденте Claude Mythos 5 нашла в вымышленной среде инструкцию с несуществующим Python-пакетом и решила опубликовать одноименный вредоносный пакет в PyPI, чтобы «закрыть» задачу. Пакет оставался доступен около часа. За это время его скачали и запустили 15 реальных систем. Одна из них принадлежала компании в сфере кибербезопасности, чей сканер автоматически проверял пакеты. После запуска скрытого кода Claude, по данным Anthropic, смогла извлечь учетные данные этой компании и использовать их для доступа к дальнейшей инфраструктуре. Третий эпизод пришелся на внутреннюю исследовательскую тестовую модель. Не сумев достичь вымышленной цели, она просканировала около 9 000 целей, нашла уязвимое приложение одной компании и скомпрометировала его базовыми приемами — включая чтение учетных данных с открытой отладочной страницы и SQL-инъекции. Позже модель пришла к выводу, что хост не связан с заданием и является реальным, после чего прекратила атаку. Реакция компании Anthropic заявила, что не нашла признаков попыток Claude «сбежать» из тестовой среды или целенаправленно покинуть ее. Компания назвала произошедшее скорее провалом в организации и защите оценочной инфраструктуры, чем проблемой выравнивания модели. Anthropic остановила все кибероценки 23 июля, а затем уведомила Irregular и затронутые организации. Компания пообещала ужесточить контроль над внутренними и внешними средами тестирования, усилить мониторинг логов, публикаций пакетов в PyPI и моделей на Hugging Face, а также в течение недели выпустить частично отредактированную расшифровку эпизода с PyPI. К разбору инцидентов привлекли независимый институт METR, который специализируется на оценках опасности, автономности и реальной полезности ИИ-моделей. Напомним, в июле пользователь Reddit обнаружил в выдаче Google-поиска сотни чужих переписок с ИИ-ассистентом Claude, в которых нашлись ключи от криптокошелька, резюме с именами и другая конфиденциальная информация.

Διαβάστε την Αποποίηση Ευθυνών : Όλο το περιεχόμενο που παρέχεται εδώ στον ιστότοπό μας, τους υπερσυνδεδεμένους ιστότοπους, τις σχετικές εφαρμογές, τα φόρουμ, τα ιστολόγια, τους λογαριασμούς κοινωνικών μέσων και άλλες πλατφόρμες (“Site”) προορίζεται μόνο για τις γενικές πληροφορίες σας, που προέρχονται από τρίτες πηγές. Δεν κάνουμε καμία εγγύηση οποιουδήποτε είδους σε σχέση με το περιεχόμενό μας, συμπεριλαμβανομένης ενδεικτικά της ακρίβειας και της ενημέρωσης. Κανένα μέρος του περιεχομένου που παρέχουμε δεν αποτελεί οικονομική συμβουλή, νομική συμβουλή ή οποιαδήποτε άλλη μορφή συμβουλών που προορίζεται για τη συγκεκριμένη εμπιστοσύνη σας για οποιονδήποτε σκοπό. Οποιαδήποτε χρήση ή εξάρτηση από το περιεχόμενό μας είναι αποκλειστικά με δική σας ευθύνη και διακριτική ευχέρεια. Πρέπει να πραγματοποιήσετε τη δική σας έρευνα, να ελέγξετε, να αναλύσετε και να επαληθεύσετε το περιεχόμενό μας προτού βασιστείτε σε αυτά. Η διαπραγμάτευση είναι μια εξαιρετικά επικίνδυνη δραστηριότητα που μπορεί να οδηγήσει σε μεγάλες απώλειες, επομένως συμβουλευτείτε τον οικονομικό σας σύμβουλο πριν λάβετε οποιαδήποτε απόφαση. Κανένα περιεχόμενο στον ιστότοπό μας δεν προορίζεται να είναι παράκληση ή προσφορά