Multimodal Guardrails

Описание

Паттерн Multimodal Guardrails контролирует входы и выходы foundation models для соответствия специфическим требованиям, таким как требования пользователя, этические стандарты и законы, для улучшения надежности, безопасности, соответствия стандартам и адаптируемости.

Контекст

Foundation models могут генерировать нежелательный контент, нарушать этические нормы или не соответствовать требованиям безопасности. Необходим контроль входов и выходов.

Проблема

• Риск генерации нежелательного или вредного контента
• Необходимость соответствия этическим стандартам
• Требования к соблюдению законов и правил
• Безопасность пользователей и системы

Решение

Паттерн включает:

• Контроль входов: Фильтрация и валидация входных данных
• Контроль выходов: Проверка и модификация выходных данных
• Мультимодальность: Работа с текстом, изображениями, аудио и другими модальностями
• Правила и политики: Применение набора правил и стандартов

Преимущества

• Надежность: Предсказуемое поведение системы
• Безопасность: Защита от вредоносного контента
• Соответствие стандартам: Соблюдение этических и правовых норм
• Адаптируемость: Настройка правил под различные требования

Компромиссы

• Дополнительная обработка может увеличить задержку
• Риск излишней фильтрации легитимного контента
• Необходимость в актуальных правилах и политиках

Известные применения

• Публичные чат-боты и ассистенты
• Системы генерации контента для широкой аудитории
• Корпоративные системы с требованиями к соответствию

Связанные паттерны

• Agent Evaluator - Оценка агентов на соответствие требованиям
• Prompt/Response Optimiser - Оптимизация входов и выходов