Human Reflection

Описание

Паттерн Human Reflection собирает обратную связь от людей для улучшения плана и процесса рассуждений, чтобы эффективно соответствовать человеческим предпочтениям, улучшая оспариваемость и эффективность.

Контекст

Человеческие предпочтения, ценности и экспертиза могут быть критически важны для качества решений агента. Включение человека в процесс рефлексии обеспечивает соответствие ожиданиям.

Проблема

Несоответствие решений агента человеческим предпочтениям
Необходимость человеческой экспертизы
Требование к возможности оспаривания решений

Решение

Паттерн включает:

Сбор обратной связи от людей о плане
Учет человеческих предпочтений и экспертизы
Возможность оспаривания и корректировки решений
Итеративное улучшение с участием человека

Преимущества

Соответствие предпочтениям: Эффективное выравнивание с человеческими ожиданиями
Оспариваемость: Возможность человека оспорить и скорректировать решения
Эффективность: Использование человеческой экспертизы
Доверие: Повышение доверия к решениям агента

Компромиссы

Зависимость от доступности человека
Потенциальные задержки в процессе
Субъективность человеческих оценок

Известные применения

Системы с высокими требованиями к безопасности
Приложения, требующие человеческого надзора
Системы, где важны человеческие ценности и предпочтения

Связанные паттерны

Self-reflection - Самостоятельная рефлексия
Cross-reflection - Рефлексия с другими агентами
Proactive Goal Creator - Понимание человеческих намерений