Мультиагентность и оркестрация AI-провайдеров¶
Система поддерживает одновременное подключение нескольких AI-провайдеров. Администратор выбирает, какой провайдер обрабатывает какие задачи. Провайдеры переключаются без деплоя — через UI.
Управление провайдерами (UI администратора)¶
Администратор видит дашборд подключённых провайдеров:
| Провайдер | Тип | Модель | Статус | Назначение |
|---|---|---|---|---|
| OpenAI | Облачный API | GPT-4.1 | Активен | Основной: ответы клиентам |
| OpenAI | Облачный API | GPT-4o-mini | Активен | Классификация, тональность |
| Claude | Облачный API | Claude Sonnet | Резерв | Fallback при недоступности OpenAI |
| YandexGPT | Облачный API | YandexGPT Pro | Резерв | Fallback #2 |
| Ollama | Self-hosted | Llama 3 | Неактивен | Тестирование |
| Rule Engine | Встроенный | — | Активен | Простые FAQ без LLM |
Для каждого провайдера администратор настраивает:
- API-ключ (шифруется, отображается как маска)
- Endpoint URL
- Модель
- Параметры генерации (temperature, max_tokens и т.д.)
- Приоритет (для fallback)
- Статус (активен / резерв / неактивен)
- Тест подключения одной кнопкой
Оркестрация: разные провайдеры для разных задач¶
Не все задачи требуют одной и той же модели. Тяжёлая модель для ответа клиенту, лёгкая — для классификации. Администратор назначает провайдера на каждый тип задачи:
| Тип задачи | Что делает | Требования | Рекомендуемая модель |
|---|---|---|---|
| Ответ клиенту | RAG + генерация ответа | Качество, понимание контекста | Тяжёлая (GPT-4.1, Claude Sonnet) |
| Классификация | Определение категории и подкатегории обращения | Скорость, точность | Лёгкая (GPT-4o-mini) |
| Определение тональности | Негатив, нейтрал, позитив в сообщении клиента | Скорость | Лёгкая (GPT-4o-mini) |
| Оценка качества ответа | Семантический классификатор: адекватен ли ответ AI | Точность | Средняя (GPT-4o) |
| Генерация embeddings | Векторное представление для RAG-поиска | Совместимость с KB | Embedding-модель (Ada v2) |
| Простые FAQ | Ответы на частые вопросы по правилам | Скорость, стоимость | Rule Engine (без LLM) |
Настраивается в админке: для каждого типа задачи — выпадающий список провайдеров. Можно назначить один провайдер на все задачи, а можно распределить.
Fallback-цепочка¶
Для каждого типа задачи — своя цепочка fallback:
Ответ клиенту: GPT-4.1 → Claude Sonnet → YandexGPT → Rule Engine
Классификация: GPT-4o-mini → GPT-4.1 → Rule Engine
Embeddings: Ada v2 (единственный, без fallback)
Если основной провайдер недоступен — автопереключение на следующий в цепочке через 5 секунд. Без участия человека.
Добавление нового провайдера¶
Система поддерживает подключение любого LLM через совместимый API:
- Облачные: OpenAI, Claude (Anthropic), Gemini (Google), YandexGPT — через API-ключ
- Self-hosted: Ollama, vLLM, LocalAI — через URL локального сервера
- Кастомный: любой сервис с OpenAI-совместимым API
Подключение нового провайдера: заполнить форму в админке (тип, URL, ключ, модель) → нажать "Тест подключения" → назначить на задачу.
Мониторинг провайдеров¶
Администратор и менеджер видят в дашборде:
- Статус каждого провайдера (доступен / недоступен / деградация)
- Время ответа (средняя латентность за период)
- Количество вызовов по каждому провайдеру
- Количество ошибок и таймаутов
- История переключений fallback (когда, почему, на какой провайдер)