Хотя OpenAI не привела никаких конкретных примеров, которые привели к последним исследованиям несоответвий, два недавних события проиллюстрировали проблему в реальных ситуациях.
В апреле Джонатан Терли, американский адвокат по уголовным делам и профессор права, заявил, что ChatGPT обвинил его в совершении сексуального насилия. Хуже того, ИИ выдумал и процитировал статью из Washington Post, чтобы обосновать свое утверждение.
На прошлой неделе Стивен А. Шварц, адвокат по делу Мата против Авиакомпания Avianca призналась, что "консультировалась" с чат-ботом в качестве источника при проведении исследования. В чем проблема? Все результаты, предоставленные ChatGPT Шварцу, были сфабрикованы.
"Это вина аффианта в том, что он не подтвердил предоставленные Chat GPT источники юридических заключений, которые он предоставил", - написал Шварц в аффидевите, представленном суду, добавив, что он "сильно сожалеет" об использовании генеративного искусственного интеллекта в дополнение к исследованию. Шварц поклялся никогда больше этого не делать без абсолютной проверки его подлинности.
Войны искусственного интеллекта: улучшенный бард Google готов сразиться с ChatGPT OpenAI
В феврале технологический гигант Microsoft продемонстрировал журналистам возможности чат-бота Bing, включая отчеты о доходах, спецификации пылесосов и планы поездок. Результаты были менее чем впечатляющими.
“Я потрясен тем, что команда Bing создала эту предварительно записанную демо-версию, наполненную неточной информацией, и уверенно представила ее миру, как если бы она была хорошей”, - сказал исследователь искусственного интеллекта Дмитрий Бреретон, присутствовавший на мероприятии, в Substack. “Я еще больше шокирован тем, что этот трюк сработал, и все запрыгнули на паровозик Bing AI, не проявив ни грамма должной осмотрительности”.
Несмотря на эти проблемы, Microsoft делает большую ставку на ChatGPT, внедряя технологию в свой веб-браузер Bing после инвестиций в OpenAI в размере 13 миллиардов долларов.
В своем исследовании OpenAI сравнила “надзор за результатом”, который обеспечивает обратную связь на основе конечного результата, и “надзор за процессом”, который обеспечивает обратную связь для каждого шага в цепочке размышлений.
"Мы оцениваем наши модели вознаграждения с контролем процесса и результатов, используя задачи из набора тестов по математике", - сказал OpenAI. "Мы генерируем множество решений для каждой проблемы, а затем выбираем решение, получившее наивысший рейтинг по каждой модели вознаграждения".
Производители ИИ предупреждают, что их технологии представляют "риск исчезновения"
Исследовательская группа пришла к выводу, что контроль процесса обеспечивает лучшую производительность, поскольку поощряет модель следовать процессу, одобренному человеком, в то время как контроль результатов, как правило, труднее поддается тщательному анализу.
OpenAI признает, что неизвестно, какие результаты выйдут за рамки математики, но говорит, что в будущей работе необходимо изучить влияние надзора за процессами в других областях. Компания опубликовала полный набор данных по наблюдению за процессами, чтобы стимулировать исследования.
“Если обобщить эти результаты, мы можем обнаружить, что надзор за процессом дает нам лучшее из обоих миров — метод, который одновременно более эффективен и более согласован, чем надзор за результатом”, - сказал OpenAI.
" 
