Компания OpenAI выпустила чат-бота ChatGPT, который умеет отвечать на вопросы, признавать ошибки, спорить и отклонять неуместные запросы. Try talking with ChatGPT, our new AI system which is optimized for dialogue. Your feedback will help us improve it. https://t.co/sHDm57g3Kr— OpenAI (@OpenAI) November 30, 2022 Разработчики создали модель с помощью обучения с подкреплением на основе обратной связи с человеком (RLHF). Они использовали те же методы, что и InstructGPT, но с дополнительными данными диалогов от людей. Для сбора датасета бесед разработчики привлекли так называемых тренеров. Они проводили разговоры от имени человека и ИИ-помощника. Также инструкторы имели доступ к смоделированным предложениям, которые помогали им писать ответы. Для модели вознаграждения за обучение с подкреплением команда записала разговоры между тренером и чат-ботом. Затем она случайным образом выбрала ответы, сгенерированные ИИ, и попросила инструкторов ранжировать их. Чтобы улучшить точность модели, разработчики использовали проксимальную оптимизацию политик. Для этого процесса они выполнили несколько итераций. Процесс обучения ChatGPT. Данные: OpenAI. По словам разработчиков, модель имеет ряд ограничений. Несмотря на правдоподобные ответы, ChatGPT часто ошибается, чувствительна к формулировкам, злоупотребляет определенными фразами, демонстрирует предвзятость и додумывает контекст. Однако в компании заявили, что опыт развертывания GPT-3 и Codex позволил повысить безопасность модели и сократить количество недостоверных ответов благодаря RLHF. ChatGPT доступен бесплатно. Разработчики попросили пользователей оставлять отзывы о проблемных выходных данных модели, ложных срабатываниях внешнего фильтра содержимого, который является частью интерфейса. «Нас особенно интересуют отзывы […], которые помогают нам выявлять и понимать новые риски и возможные меры по их устранению», — говорится в пресс-релизе. По словам разработчиков, полученная информация поможет им в разработке более современных и продвинутых языковых моделей. ChatGPT обучали на суперкомпьютере Azure AI. Чат-бот является доработкой модели серии GPT-3.5, создание которой завершилось в начале 2022 года. Напомним, в сентябре OpenAI представила систему распознавания речи Whisper, обеспечивающую транскрипцию на нескольких языках. В январе компания выпустила новую версию GPT-3, которая производит меньше оскорбительных выражений, дезинформации и ошибок в целом. Подписывайтесь на новости ForkLog в Telegram: ForkLog AI — все новости из мира ИИ!
laravel-share::laravel-share-fa4.facebooklaravel-share::laravel-share-fa4.twitterlaravel-share::laravel-share-fa4.linkedin