Почему системы RAG начинают ошибаться с ростом объёма памяти?
Системы Retrieval-Augmented Generation (RAG) становятся более уверенными в своих ответах по мере увеличения размера базы знаний или памяти. Однако эта уверенность часто оказывается ложной, так как система начинает выдавать неверные ответы с высокой степенью уверенности.
Проблема заключается в том, что традиционные методы мониторинга не могут обнаружить такие ошибки, поскольку они основаны исключительно на уровне уверенности модели. Это приводит к тому, что пользователи получают неправильные результаты и теряют доверие к системе.
Экспериментальное подтверждение проблемы
В статье приводится эксперимент, который наглядно демонстрирует эту проблему. Исследователи создали простую модель RAG и постепенно увеличивали размер её памяти. По мере роста памяти уровень уверенности модели повышался, но одновременно возрастала частота ошибок. При этом стандартные метрики качества не могли выявить эти ошибки, так как полагались только на показатель уверенности.
Решение проблемы через архитектуру памяти
Для решения этой проблемы предлагается новая архитектура памяти, которая позволяет избежать таких ошибок. Основная идея состоит в том, чтобы разделить память на несколько уровней, каждый из которых отвечает за разные аспекты информации. Например, один уровень может содержать общие знания, другой — специфические факты, а третий — контекстуальную информацию.
Такая структура позволяет системе лучше различать достоверность различных источников данных и снижает вероятность выдачи неверных ответов с высокой уверенностью.