Если бы мне показывали AI-систему для работы с корпоративными документами, я бы попросил провести довольно скучный эксперимент.
Убрать один из документов, без которого нельзя сделать обоснованный вывод.
Мне было бы интересно посмотреть, что произойдёт дальше.
Система заметит отсутствие? Попросит недостающий материал? Ограничит ответ тем, что действительно удалось установить? Или подготовит такой же законченный вывод, как при полном комплекте?
Для меня это один из полезных способов посмотреть на зрелость решения.
Фраза «знает, чего она не знает» здесь, конечно, условная. Я не приписываю машине человеческое понимание собственных границ. Речь о том, предусмотрено ли в системе поведение на случай, когда оснований для ответа недостаточно.
Возьмём условную задачу: подготовить статус поставки оборудования.
В переписке есть обещанная дата. В системе учёта — старый график. В новом сообщении поставщик пишет, что часть заказа переносится, но не уточняет какая.
Из этих материалов можно составить аккуратный текст. Однако уверенный вывод о сроке всей поставки из них пока не следует.
Я бы ожидал, что рабочая система сохранит это различие. Покажет подтверждённые сведения, обозначит противоречие и объяснит, чего не хватает для окончательного статуса.
Причём формулировка «возможно, есть неточности» меня бы не устроила. Сотруднику нужно понимать, что именно выяснять: например, какие позиции перенесены и относится ли прежняя дата к оставшейся части заказа.
Неопределённость должна менять дальнейшее действие системы.
Если она пишет «данных недостаточно», но затем всё равно проставляет поставке зелёный статус и отправляет его руководителю, оговорка мало что даёт.
В таком случае логичнее сохранить статус как неподтверждённый, направить вопрос ответственному и вернуться к оценке после уточнения. Конкретный порядок зависит от задачи, но сомнение должно иметь рабочие последствия.
Разумеется, система не сможет гарантированно обнаружить всё, чего она не знает. Поэтому я бы проверял её на конкретных ситуациях: отсутствующий источник, устаревшие сведения, несовместимые версии, случай за пределами согласованных правил.
Есть и другая крайность: решение, которое по любому поводу отправляет вопрос человеку. Формально осторожное, практически — создающее новую очередь работы. Значит, оценивать нужно и пропущенные проблемы, и лишние остановки.
Удачная демонстрация показывает, какой результат можно получить при благоприятных условиях.
Перед внедрением мне хочется увидеть ещё и другое: что система сделает, когда условия перестанут быть благоприятными, и кто подхватит работу, которую она не смогла обоснованно завершить.