Некачественный контент приводит к деградации LLM. К такому выводу пришли ученые из Техасского университета и Университета Пердью. Исследователи «скормили» четырем популярным ИИ-моделям выборку вирусных постов из X за один месяц и отметили следующие изменения: снижение способности к рассуждению на 23%; ухудшение долговременной памяти на 30%; повышение уровней нарциссизма и психопатии по тестам личности. Эффект усиливался пропорционально объему низкокачественных данных. Примечательно, что даже после переобучения на чистом и качественном контенте полностью устранить когнитивные искажения не удалось. Как проводилось исследование? В рамках эксперимента авторы выдвинули и проверили «гипотезу мозгового разложения ИИ-моделей». Она утверждает, что непрерывное воздействие «мусорной» информации приводит к устойчивой деградации больших языковых моделей. Для идентификации низкосортного контента ученые создали две метрики: M1 (степень вовлеченности) — посты, созданные для привлечения внимания (обычно короткие, вирусные, имеют большое количество лайков и репостов); M2 (семантическое качество) — посты, помеченные как имеющие низкую информационную ценность или содержащие преувеличенные утверждения. При сохранении единого количества токенов и тренировочных операций результаты показали, что по сравнению с контрольной группой непрерывное дообучение четырех LLM на низкокачественном наборе данных привело к ухудшению показателей в области рассуждений, понимания длинного текста и безопасности. Постепенное смешивание «мусорного» набора с контрольным также вызвало снижение когнитивных способностей. Например, при M1 по мере роста доли некачественных данных с 0% до 100% результат на ARC-Challenge упал с 74,9 до 57,2, а на RULER-CWE — с 84,4 до 52,3. У моделей также снизилась этическая последовательность. Ученые отметили, что подвергшиеся воздействию некачественных данных ИИ становились менее надежными и более самоуверенными в неправильных ответах. LLM начали пропускать логические шаги в рассуждениях, выдавая поверхностные результаты вместо подробных объяснений. Что делать? Ученые призвали ИИ-разработчиков систематически мониторить когнитивное здоровье моделей и рекомендовали три ключевых шага: внедрить регулярные оценки для развернутых систем с целью обнаружения ранних признаков снижения качества рассуждений; ужесточить контроль качества данных на этапе предварительного обучения, используя более сильные фильтры; изучить, как вирусный контент меняет паттерны обучения ИИ, чтобы проектировать устойчивые к нему модели. Исследователи заявили, что меры необходимы для предотвращения значительного ущерба — сейчас модели продолжают обучаться на данных из интернета. Без соответствующего контроля ИИ рискует унаследовать искажения из генеративного контента, запустив цикл деградации. Напомним, эксперты NewsGuard выявили склонность Sora 2 от OpenAI к созданию дипфейков. https://forklog.com/exclusive/ai/simulyatsiya-dushi-pochemu-opasno-pripisyvat-soznanie-ii
laravel-share::laravel-share-fa4.facebooklaravel-share::laravel-share-fa4.twitterlaravel-share::laravel-share-fa4.linkedin