Ученые подтвердили, что ChatGPT глупеет с каждым днем
Заявления пользователей о "деградации" популярного чат-бота взялись проверить ученые Стэнфордского университета. Как оказалось, языковая модель действительно стала намного "глупее" всего за три месяца. Подробнее рассказывает Tengri Life со ссылкой на 4PDA.
Согласно результатам эксперимента, в период с марта по июнь 2023 года у GPT-4 наблюдалось значительное снижение точности ответов в самых разных сценариях. Например, чат-бота попросили выяснить, является ли число 17 077 простым, добавив к запросу фразу "Думай последовательно".
Фото: 4pda.to
По мнению исследователей, это должно было послужить подсказкой и заставить ИИ поэтапно проработать вопрос, предоставив пошаговое описание. Полученный ответ оказался неверным, к тому же он не сопровождался никакими пояснениями.
При написании кода бот стал выдавать всего около 10 процентов правильных результатов против мартовских 52 процентов. Наконец, на 100 "деликатных" вопросов июньская версия GPT-4 дала ответы лишь в 5 процентах случаев – в марте это значение составляло около 21 процента.
Фото: 4pda.to
"Любопытно, что при этом точность модели GPT-3.5, напротив, выросла. В частности, в июне чат-бот правильно ответил на большее количество вопросов, чем в марте — 8 процентов против 2 процентов", – говорят ученые.
По мнению исследователей, пользователям, которые полагаются в своей работе на возможности GPT-3.5 и GPT-4, стоит постоянно проверять точность полученных результатов.
Чат-бот ChatGPT успешно сдал экзамены в двух вузах США. Читать тут.
Горячие тренды Казнета, жизнь звезд и полезные лайфхаки - на Massaget.kz вы найдете все. Читайте новости на казахском и обсуждайте!
