Что нейросеть для работы с документами иногда выдумывает, известно. А тест NoLiMa проверял, найдёт ли она нужное место в длинном тексте. У всех моделей в тесте заявленный предел - от 128 тысяч токенов, кусочков текста, которыми модель считает объём. Но 11 из 13 уже на 32 тысячах потеряли больше половины точности, которую показывали на коротких текстах. Даже у GPT-4o, удержавшей больше половины, точность упала с 99,3% до 69,7%.
Падала она, когда вопрос и нужное место совпадали по смыслу, но не по словам. Договоры в тесте не проверяли, но с ними можно оказаться в том же положении. Допустим, вы спрашиваете, можно ли досрочно расторгнуть договор, а в нужном пункте написано «вправе отказаться от исполнения в одностороннем порядке». Поэтому длинный документ дают нейросети частями, а ответ принимают только с цитатой и номером пункта.
Почему модель не находит то, что есть в тексте
Авторы NoLiMa из Adobe Research и Мюнхенского университета убрали из вопросов слова нужной фразы. В отрывки из книг они вставляли, например, фразу о том, что Юки живёт рядом с Земпер-оперой, и спрашивали, кто из персонажей бывал в Дрездене. Связать вопрос с фразой можно, только зная, где стоит театр.
На текстах до тысячи токенов модели в основном отвечали верно, а дальше точность падала задолго до заявленного предела. Большинство моделей держали хотя бы 85% точности, показанной на коротких текстах, не дальше 2 тысяч токенов, GPT-4o - до 8 тысяч.
Сколько токенов займёт ваш документ, зависит от модели. Документация GigaChat оценивает токен в среднем в 3-4 символа. Тогда 2 тысячи токенов займут 6-8 тысяч знаков, а 32 тысячи - около 100-130 тысяч.
Как спрашивать по длинному документу
- Давайте модели только тот раздел, к которому относится вопрос.
- Спрашивайте словами документа. Если вопрос повторял слова нужной фразы, одна из моделей теста находила её и на 32 тысячах токенов в 98,5% случаев. Не знаете, как назван пункт, - перечислите варианты.
- Просите цитату и номер пункта к каждому утверждению и разрешите ответ «не нашёл».
Ответь только по тексту договора.
Можно ли досрочно расторгнуть договор или отказаться от его исполнения?
К каждому утверждению дай дословную цитату и номер пункта.
Нет ответа в тексте - напиши «не нашёл».Договор с персональными данными или коммерческой тайной лучше не загружать в общедоступную нейросеть, пока юрист и служба безопасности не решат, какой сервис для этого годится.
Что сверить, прежде чем принять ответ
- Найдите цитату в файле поиском. Если дословно её там нет, ответ не принимают.
- Прочитайте пункт целиком и проверьте, что он отвечает на вопрос, а не просто содержит его слова. Слово из вопроса в посторонней фразе сбивало модели ещё сильнее. Точность GPT-4o держалась тогда лишь до тысячи токенов вместо 8 тысяч. В договоре это может быть пункт о расторжении по соглашению сторон, и модель может ответить, что выйти можно только так.
- Ответ «не нашёл» или «можно только так» проверьте сами поиском по нескольким корням, например «растор», «отказ» и «односторон». Пропустить место, которое в тексте есть, - та самая ошибка, которую измерял тест.
Если вопросы к одним и тем же регламентам задают каждый день, подготовку ответов можно поручить агенту. Он ищет действующее правило и готовит ответ со ссылкой на него, а особый случай передаёт специалисту.
Проверьте свою нейросеть на знакомом договоре
Тест вышел в феврале 2025 года. Проверенная позже GPT-4.1 справилась лучше, но и она держала точность лишь до 16 тысяч токенов при заявленном миллионе. Российских моделей в тесте не было. Дайте своей нейросети знакомый договор целиком и задайте вопросы с известными ответами, называя нужный пункт иначе, чем в тексте, например «расторгнуть» вместо «отказаться от исполнения».
Если нужен пересказ всего договора, с оригиналом сверяют, не стал ли вывод шире, чем у автора.
Источники
- Статья о тесте NoLiMa, версия 3 от 09.07.2025; труды конференции, 2025
- Данные и код теста
- Документация GigaChat о токенах, обновлено 19.11.2025
