Есть одна фраза, после которой обсуждение рисков AI легко может закончиться раньше времени:
«Ну, окончательное решение всё равно принимает человек».
Звучит убедительно. Машина подготовила материал, специалист посмотрел, руководитель утвердил. Человеческий контроль предусмотрен.
Но мне хочется понять, что именно означает «посмотрел».
Представьте, что AI готовит для руководителя сводку о состоянии крупного проекта. В ней сроки, расходы, основные отклонения и вывод: ситуация под контролем.
В сводке нет существенного события, которое меняет оценку проекта. Оно осталось в одном из исходных документов.
Как руководитель обнаружит пропуск?
Внутри самой сводки может не быть противоречий. Все приведённые факты могут быть точными. Текст может выглядеть вполне профессионально.
Чтобы заметить отсутствующее, нужно иметь основание его искать: знать о событии, увидеть перечень использованных материалов, обратиться к первоисточникам или получить независимый сигнал.
Прочитать готовый текст для этого недостаточно.
Утвердить результат и проверить его — разные виды работы.
Проверка требует собственного понимания того, что должно получиться и по каким признакам можно обнаружить ошибку. Если человек видит только ответ AI, его возможности ограничены тем, что система решила показать.
Поэтому, когда мне говорят «результат проверит сотрудник», я мысленно продолжаю эту фразу.
Сотрудник получит исходные материалы? У него будет время разобраться? Он знает, что именно проверять? Может остановить дальнейшее действие? И что произойдёт, если он не согласится с машиной?
Это особенно существенно, когда экономику проекта уже посчитали исходя из того, что сотрудник будет тратить на проверку пару минут. Если для содержательной оценки ему нужно заново прочитать весь пакет документов, эти затраты должны присутствовать в расчёте.
Здесь не обязательно выбирать между полной перепроверкой и слепым доверием. Для разных задач можно по-разному организовать контроль: отдельно проверять расчёты, показывать связь выводов с источниками, выделять спорные места, направлять определённые случаи на более глубокий разбор.
Но каждый такой способ должен соответствовать ошибкам, которые мы хотим обнаружить. Ссылка на документ помогает проверить приведённый факт, однако сама по себе не доказывает, что система не пропустила другой важный документ.
Для меня участие человека становится содержательной защитой тогда, когда понятно, какую ошибку он способен заметить и как может повлиять на дальнейшую работу.
Если человек только нажимает «согласовано», мы пока знаем лишь то, на чьём имени остановится история согласования.