Исследователи в области искусственного интеллекта разработали подход, заставляющий языковые модели чаще признавать неуверенность в своих ответах. Идея состоит в том, чтобы ИИ не «выдумывал» ответ, когда не имеет достаточно данных, а прямо сообщал об этом пользователю.
Об этом пишет: РБК-Украина
В чем проблема современного ИИ
Одна из главных проблем крупных языковых моделей — так называемые галлюцинации, когда система:
- представляет ложную информацию как факт
- уверенно формулирует ответы без проверки
- сочиняет детали, если не знает точного ответа
Это может создавать иллюзию подлинности даже тогда, когда информация ошибочна.
Новый подход: обучение признавать неуверенность
Чтобы уменьшить количество таких ошибок, исследователи научили модели использовать формулировки типа:
- «я не уверен»
- «у меня недостаточно данных»
- «это может быть неточно»
Такой подход изменяет поведение системы: она не пытается во что бы то ни стало дать ответ, а оценивает уровень своей уверенности.
Как это влияет на качество ответов
Благодаря новому методу:
- уменьшается количество вымышленных фактов
- пользователь получает более честную оценку информации
- повышается доверие к системе в критических сферах (медицина, финансы, право)
Почему это важно
Разработчики считают, что способность ИИ признавать свои ограничения – это шаг к более безопасному использованию технологии. Особенно это важно в ситуациях, где ошибка может иметь серьезные последствия.
Итог
Новый подход в обучении искусственному интеллекту направлен не на то, чтобы сделать его «всезнающим», а наоборот более осторожным и честным в ответах. Это помогает снизить ошибки и повысить надежность систем.