CGD - Crypto Government Department logo CGD - Crypto Government Department logo
Forklog 2024-10-19 12:58:57

Исследователи Anthropic допустили саботаж ИИ против человечества

Искусственный интеллект может однажды саботировать человечество, но пока все в порядке. Об этом сообщили эксперты ИИ-стартапа Anthropic в новом исследовании. New Anthropic research: Sabotage evaluations for frontier modelsHow well could AI models mislead us, or secretly sabotage tasks, if they were trying to?Read our paper and blog post here: https://t.co/nQrvnhrBEv pic.twitter.com/GWrIr3wQVH— Anthropic (@AnthropicAI) October 18, 2024 Специалисты исследовали четыре различных вектора угроз со стороны искусственного интеллекта и определили, что «минимальные меры смягчения последствий» были достаточными для текущих моделей. «Достаточно способные модели могут подорвать человеческий надзор и принятие решений в важных контекстах. Например, в контексте разработки ИИ модели могут тайно саботировать усилия по оценке собственных опасных возможностей, мониторингу их поведения или принятию решений об их развертывании», — говорится в документе. Однако хорошая новость в том, что исследователи Anthropic видят возможности смягчения таких рисков, по крайней мере на текущий момент. «Хотя наши демонстрации показали, что в современных моделях, возможно, есть низкоуровневые признаки способности к саботажу, мы считаем, что минимальные меры по смягчению последствий достаточны для устранения рисков. Тем не менее по мере улучшения возможностей ИИ, вероятно, будут необходимы более реалистичные и жесткие меры по снижению рисков», — говорится в отчете. Ранее эксперты взломали ИИ-роботов и заставили их выполнять запрещенные протоколами безопасности и этическими нормами действия. Например, детонировать бомбы.

Διαβάστε την Αποποίηση Ευθυνών : Όλο το περιεχόμενο που παρέχεται εδώ στον ιστότοπό μας, τους υπερσυνδεδεμένους ιστότοπους, τις σχετικές εφαρμογές, τα φόρουμ, τα ιστολόγια, τους λογαριασμούς κοινωνικών μέσων και άλλες πλατφόρμες (“Site”) προορίζεται μόνο για τις γενικές πληροφορίες σας, που προέρχονται από τρίτες πηγές. Δεν κάνουμε καμία εγγύηση οποιουδήποτε είδους σε σχέση με το περιεχόμενό μας, συμπεριλαμβανομένης ενδεικτικά της ακρίβειας και της ενημέρωσης. Κανένα μέρος του περιεχομένου που παρέχουμε δεν αποτελεί οικονομική συμβουλή, νομική συμβουλή ή οποιαδήποτε άλλη μορφή συμβουλών που προορίζεται για τη συγκεκριμένη εμπιστοσύνη σας για οποιονδήποτε σκοπό. Οποιαδήποτε χρήση ή εξάρτηση από το περιεχόμενό μας είναι αποκλειστικά με δική σας ευθύνη και διακριτική ευχέρεια. Πρέπει να πραγματοποιήσετε τη δική σας έρευνα, να ελέγξετε, να αναλύσετε και να επαληθεύσετε το περιεχόμενό μας προτού βασιστείτε σε αυτά. Η διαπραγμάτευση είναι μια εξαιρετικά επικίνδυνη δραστηριότητα που μπορεί να οδηγήσει σε μεγάλες απώλειες, επομένως συμβουλευτείτε τον οικονομικό σας σύμβουλο πριν λάβετε οποιαδήποτε απόφαση. Κανένα περιεχόμενο στον ιστότοπό μας δεν προορίζεται να είναι παράκληση ή προσφορά