CGD - Crypto Government Department logo CGD - Crypto Government Department logo
Forklog 2025-08-26 11:00:37

Сверхразумный ИИ может стать катастрофой — Виталик Бутерин

Человечество недостаточно хорошо справляется с согласованием общемировых ценностей, чтобы гарантировать, что сверхразумный искусственный интеллект будет работать на благо всем людям. Такое заявление сделал сооснователь Ethereum Виталик Бутерин. Он прокомментировал пост 3D-художника с ником Utah teapot. How is AI alignment even a thing? Everyone is always asking "aligned to what" and no one ever has an answer other than "human values". Coherent, self-consistent human values are not a thing. I still don't get it. What are we researching? It's ridiculous that this is a growing…— Utah teapot 🫖 (@SkyeSharkie) August 24, 2025 «Как вообще может существовать понятие AI alignment? Я всегда спрашиваю: “согласование с чем?”. Никто никогда не отвечает ничего, кроме как “с человеческими ценностями”. Но целостных, непротиворечивых человеческих ценностей не существует. Я до сих пор не понимаю. Что мы вообще исследуем? Абсурдно, что это превращается в растущую индустрию. Фиктивная работа», — написал он. Бутерин подчеркнул, что в мире существует много вещей, которые противоречат этическим принципам. В пример он привел убийство или заключение невиновных. «[...] Мы пока недостаточно хороши в согласовании, чтобы гарантировать, что единичный сверхразумный ИИ избежит даже этого», — добавил разработчик. Utah teapot отметил, что развитие согласованного искусственного интеллекта движется в сторону ограничения публичного доступа к разработке. В то же время крупные компании продают версии своих ИИ-систем, которые способствуют негативным явлениям и выступают инструментами войны. «Я глубоко обеспокоен тем, что централизация доступа к ИИ-технологиям позволяет навязывать как вопросы безопасности то, что на самом деле ею не является — например, обсуждения вокруг “психоза” от LLM. Тем самым возникает риск нанести вред уникальным или маргинальным культурам и их ценностям», — отметил пользователь. Бутерин разделяет многие из этих опасений. «Я думаю, что наибольшие риски будут исходить от военных и других структур, обладающих большой властью, позволяющей им выводить себя из-под действия правил безопасности, которые для всех остальных идут по умолчанию», — добавил сооснователь Ethereum. Utah teapot в качестве примера привел ИИ-стартап Anthropic. Он разрабатывает альтернативные версии «гражданских» моделей и предоставляет правительствам. Их могут применять для военных или разведывательных действий. https://forklog.com/news/ai/minoborony-ssha-vydelilo-200-mln-amerikanskim-ii-startapam Бутерин подчеркнул, что вероятность катастрофического сценария для человечества из-за ИИ повышается в том случае, если будет только один сверхразумный агентный искусственный интеллект, обладающий собственной волей и способностью действовать как субъект. Если среда будет плюралистической, ни одна из систем не сможет тотально контролировать ситуацию. Однако для ее создания одних лишь рыночных механизмов недостаточно. Необходимы намеренные усилия, в том числе изменения в законах и стимулах, которые не понравятся большим корпорациям. Напомним, в 2022 году министр информационных технологий Индии Раджив Чандрасекар призвал к разработке глобальных стандартов, гарантирующих безопасность ИИ для человека. https://forklog.com/exclusive/ai/simulyatsiya-dushi-pochemu-opasno-pripisyvat-soznanie-ii

Διαβάστε την Αποποίηση Ευθυνών : Όλο το περιεχόμενο που παρέχεται εδώ στον ιστότοπό μας, τους υπερσυνδεδεμένους ιστότοπους, τις σχετικές εφαρμογές, τα φόρουμ, τα ιστολόγια, τους λογαριασμούς κοινωνικών μέσων και άλλες πλατφόρμες (“Site”) προορίζεται μόνο για τις γενικές πληροφορίες σας, που προέρχονται από τρίτες πηγές. Δεν κάνουμε καμία εγγύηση οποιουδήποτε είδους σε σχέση με το περιεχόμενό μας, συμπεριλαμβανομένης ενδεικτικά της ακρίβειας και της ενημέρωσης. Κανένα μέρος του περιεχομένου που παρέχουμε δεν αποτελεί οικονομική συμβουλή, νομική συμβουλή ή οποιαδήποτε άλλη μορφή συμβουλών που προορίζεται για τη συγκεκριμένη εμπιστοσύνη σας για οποιονδήποτε σκοπό. Οποιαδήποτε χρήση ή εξάρτηση από το περιεχόμενό μας είναι αποκλειστικά με δική σας ευθύνη και διακριτική ευχέρεια. Πρέπει να πραγματοποιήσετε τη δική σας έρευνα, να ελέγξετε, να αναλύσετε και να επαληθεύσετε το περιεχόμενό μας προτού βασιστείτε σε αυτά. Η διαπραγμάτευση είναι μια εξαιρετικά επικίνδυνη δραστηριότητα που μπορεί να οδηγήσει σε μεγάλες απώλειες, επομένως συμβουλευτείτε τον οικονομικό σας σύμβουλο πριν λάβετε οποιαδήποτε απόφαση. Κανένα περιεχόμενο στον ιστότοπό μας δεν προορίζεται να είναι παράκληση ή προσφορά