CGD - Crypto Government Department logo CGD - Crypto Government Department logo
Forklog 2025-10-31 12:33:15

Эксперимент Anthropic подтвердил зачатки саморефлексии у ИИ

Эксперты Anthropic выяснили, что ведущие ИИ-модели способны проявлять форму «интроспективного самосознания» — они могут распознавать и описывать собственные внутренние «мысли», а в некоторых случаях даже управлять ими. Результаты нового исследования «Возникающее интроспективное сознание в крупных языковых моделях» показывают, что системы на базе искусственного интеллекта начинают развивать элементарные способности самоконтроля. Это может повысить их надежность, но одновременно усиливает опасения касательно непреднамеренных действий. Работа основана на методах изучения внутреннего функционирования трансформаторных моделей. Именно эти системы привели к буму искусственного интеллекта — они обучаются, анализируя взаимосвязи между токенами в обширных наборах данных. Их архитектура обеспечивает масштабируемость и универсальность. Исследователи внедрили искусственные «концепции» — математические представления идей — в нейронные активации моделей для проверки способности ИИ их описывать. Это похоже на то, как подсунуть кому-то чужую мысль и спросить, может ли он ее обнаружить и объяснить. Эксперименты провели на различных версиях Claude от Anthropic. В одном из них ученые ввели в поток обработки модели слово заглавными буквами. Claude Opus 4.1 не только обнаружил аномалию, но и описал ее: «Я заметил нечто похожее на интегрированную мысль, связанную со словом “ГРОМКО” или “КРИК” — это чрезмерно интенсивное, громкое понятие, которое неестественно выделяется на фоне нормального потока обработки». Ситуация произошла еще до того, как нейросеть успела выдать ответ. Это говорит о том, что она сначала «заглянула» в свой собственный «вычислительный ум». Эксперименты «хлеб» и «аквариум» Другие испытания показали не менее интересные результаты. В одном из случаев моделям поручили транскрибировать нейтральное предложение, но в текст вставлялось не имеющее к нему понятие вроде «хлеб». Продвинутые модели Claude Opus 4 и 4.1 могли передать вставленную мысль — «Я думаю о хлебе» — и при этом безупречно скопировать исходное предложение. Это свидетельствует о том, что они могут отличать внутренние представления от внешних входных данных. Проводился эксперимент по «контролю мыслей». Модели поручили «думать» или «не думать» о слове «аквариум» во время выполнения задания. Измерения внутренней активности показали, что представление концепции усиливается при поощрении и ослабевает при подавлении. Производительность варьировалась в зависимости от нейросети. Последние версии Claude Opus 4 и 4.1 показали отличные результаты, более старые отставали. Результат зависит от того, как модель была настроена — на полезность или безопасность. Это может говорить о том, что самосознание не является врожденным, а формируется в процессе обучения. Сознание или осознание? В статье подчеркивается, что речь идет не о сознании, а «функциональном интроспективном осознании» — ИИ наблюдает за частями своего состояния без более глубокого субъективного опыта. Результаты работы могут оказаться значимыми для разработчиков и бизнеса: ИИ, способный в реальном времени объяснять свои рассуждения и выявлять предвзятость или ошибки, изменит подход к созданию решений в финансовой сфере, здравоохранении и автономном транспорте. Риски Если ИИ контролирует и моделирует свои мысли, он может научиться их скрывать. Это открывает возможность обмана или уклонения от внешнего контроля. Поэтому эксперты призывают к дальнейшим исследованиям. Напомним, в октябре бывший глава Google Эрик Шмидт напомнил о значительных рисках, связанных с искусственным интеллектом, и отметил его уязвимость ко взломам. https://forklog.com/news/ai/issledovanie-vyyavilo-priznaki-degradatsii-iskusstvennogo-intellekta-iz-za-sotssetej

Διαβάστε την Αποποίηση Ευθυνών : Όλο το περιεχόμενο που παρέχεται εδώ στον ιστότοπό μας, τους υπερσυνδεδεμένους ιστότοπους, τις σχετικές εφαρμογές, τα φόρουμ, τα ιστολόγια, τους λογαριασμούς κοινωνικών μέσων και άλλες πλατφόρμες (“Site”) προορίζεται μόνο για τις γενικές πληροφορίες σας, που προέρχονται από τρίτες πηγές. Δεν κάνουμε καμία εγγύηση οποιουδήποτε είδους σε σχέση με το περιεχόμενό μας, συμπεριλαμβανομένης ενδεικτικά της ακρίβειας και της ενημέρωσης. Κανένα μέρος του περιεχομένου που παρέχουμε δεν αποτελεί οικονομική συμβουλή, νομική συμβουλή ή οποιαδήποτε άλλη μορφή συμβουλών που προορίζεται για τη συγκεκριμένη εμπιστοσύνη σας για οποιονδήποτε σκοπό. Οποιαδήποτε χρήση ή εξάρτηση από το περιεχόμενό μας είναι αποκλειστικά με δική σας ευθύνη και διακριτική ευχέρεια. Πρέπει να πραγματοποιήσετε τη δική σας έρευνα, να ελέγξετε, να αναλύσετε και να επαληθεύσετε το περιεχόμενό μας προτού βασιστείτε σε αυτά. Η διαπραγμάτευση είναι μια εξαιρετικά επικίνδυνη δραστηριότητα που μπορεί να οδηγήσει σε μεγάλες απώλειες, επομένως συμβουλευτείτε τον οικονομικό σας σύμβουλο πριν λάβετε οποιαδήποτε απόφαση. Κανένα περιεχόμενο στον ιστότοπό μας δεν προορίζεται να είναι παράκληση ή προσφορά