CGD - Crypto Government Department logo CGD - Crypto Government Department logo
Forklog 2025-11-06 07:35:51

Microsoft обнаружила уязвимости ИИ-агентов после масштабного теста

Эксперты Microsoft представили среду для тестирования ИИ-агентов и выявили уязвимости, присущие современным цифровым помощникам. Платформа Magentic Marketplace — экспериментальная площадка для моделирования поведения ИИ-ассистентов. В ней можно проводить тесты, например, заказать ужин по инструкциям пользователя, где представляющие рестораны агенты конкурируют между собой. Исходный код проекта открыт, поэтому разные группы исследователей могут адаптировать его под собственные задачи или воспроизведение результатов. Управляющий директор лаборатории AI Frontiers Lab компании Microsoft Research Эдже Камар подчеркнул, что подобные эксперименты будут иметь решающее значение для понимания возможностей ИИ-агентов. «Действительно возникает вопрос о том, как изменится мир, когда они будут сотрудничать, общаться друг с другом и вести переговоры. Мы хотим понять эти вещи», — отметил он. Первый блин комом В ходе первых тестов 100 клиентских агентов взаимодействовали с 300 бизнес-помощниками, включая модели GPT-4o, GPT-5 и Gemini 2.5 Flash. Эксперимент позволил выявить их уязвимые стороны. Эксперты выяснили, что существуют методы манипулирования агентами-клиентами, позволяющие побудить их купить определенный продукт. Если цифровому ассистенту давали много вариантов для выбора, это перегружало его внимание. «Мы хотим, чтобы агенты помогали нам обрабатывать большое количество вариантов. И мы видим, что текущие модели перенапрягаются из-за этого», — сказал Камар. Помощники столкнулись с трудностями, когда им предложили сотрудничать для достижения общей цели. Они не смогли найти консенсус в том, кто какую роль должен выполнять. Эффективность повысилась, когда им предоставили более четкие инструкции по взаимодействию с другими агентами. «Мы можем предоставлять моделям инструкции — как будто говорим им, что делать, шаг за шагом. Но если мы тестируем их способности к сотрудничеству, я бы ожидал, что эти нейросети будут обладать такими способностями по умолчанию», — подытожил Камар. Напомним, в ноябре Amazon потребовала от Perplexity удалить браузер со встроенным ИИ-агентом из своего интернет-магазина, указав на его некачественную работу. Трейдерские возможности искусственного интеллекта также оказались под вопросом, показал первый сезон торгового турнира Alpha Arena.

Διαβάστε την Αποποίηση Ευθυνών : Όλο το περιεχόμενο που παρέχεται εδώ στον ιστότοπό μας, τους υπερσυνδεδεμένους ιστότοπους, τις σχετικές εφαρμογές, τα φόρουμ, τα ιστολόγια, τους λογαριασμούς κοινωνικών μέσων και άλλες πλατφόρμες (“Site”) προορίζεται μόνο για τις γενικές πληροφορίες σας, που προέρχονται από τρίτες πηγές. Δεν κάνουμε καμία εγγύηση οποιουδήποτε είδους σε σχέση με το περιεχόμενό μας, συμπεριλαμβανομένης ενδεικτικά της ακρίβειας και της ενημέρωσης. Κανένα μέρος του περιεχομένου που παρέχουμε δεν αποτελεί οικονομική συμβουλή, νομική συμβουλή ή οποιαδήποτε άλλη μορφή συμβουλών που προορίζεται για τη συγκεκριμένη εμπιστοσύνη σας για οποιονδήποτε σκοπό. Οποιαδήποτε χρήση ή εξάρτηση από το περιεχόμενό μας είναι αποκλειστικά με δική σας ευθύνη και διακριτική ευχέρεια. Πρέπει να πραγματοποιήσετε τη δική σας έρευνα, να ελέγξετε, να αναλύσετε και να επαληθεύσετε το περιεχόμενό μας προτού βασιστείτε σε αυτά. Η διαπραγμάτευση είναι μια εξαιρετικά επικίνδυνη δραστηριότητα που μπορεί να οδηγήσει σε μεγάλες απώλειες, επομένως συμβουλευτείτε τον οικονομικό σας σύμβουλο πριν λάβετε οποιαδήποτε απόφαση. Κανένα περιεχόμενο στον ιστότοπό μας δεν προορίζεται να είναι παράκληση ή προσφορά