docs: lock deepseek/deepseek-chat as assistant model, add LLM test report and harness

This commit is contained in:
apuc committed 2026-09-26 19:23:38 +03:00
1 parent c8ba5ebb48
commit 9cbae40aa4
3 files changed
+387 -20

No files matched your search

+76
View File
@@ -0,0 +1,76 @@
# Отчёт: тестирование LLM-моделей для ассистента «Зам»
**Проект:** АС «Платформа ОПОРА РОССИИ»
**Дата:** 26.09.2026
**Стенд:** `tools/test_models.py`
**Провайдер:** OpenRouter
---
## 1. Цель
Выбрать LLM для AI-ассистента «Зам» (п. 4.2.14 ТЗ, Вариант 1) по критериям: русский язык, function calling, структурированный вывод, стоимость, латентность.
## 2. Методика
Три тестовых сценария, приближенных к задачам ассистента:
| Тест | Что проверяет |
|---|---|
| `ru_generation` | Генерация «Еженедельного фокуса целей» на русском с терминологией |
| `function_calling` | Вызов инструмента `create_task` с корректными аргументами |
| `json_output` | Структурированный JSON (region, point0, current, growth) |
## 3. Результаты
**Модель: `deepseek/deepseek-chat`**
| Тест | Статус | Латентность | Токены (prompt+completion) | Стоимость |
|---|---|---|---|---|
| `ru_generation` | ✅ OK | 9.65 с | 150 + 160 | $0.00019 |
| `function_calling` | ✅ OK | 3.55 с | 891 + 62 | $0.00034 |
| `json_output` | ✅ OK | 3.34 с | 135 + 41 | $0.00008 |
**Средняя латентность:** 5.51 с · **Стоимость прогона:** $0.00061
### Пример ответа (`ru_generation`)
> **Еженедельный фокус целей: Донецкая Народная Республика**
> Прирост от точки 0: **+136**.
> Округ ЮФО: **+365**, динамика: **12/12 регионов**.
>
> **Что делать:**
> 1. Усилить поддержку предпринимателей…
### Проверка function calling
Модель корректно вызвала `create_task` со всеми обязательными полями:
`title`, `due_date` (= 2026-10-01), `priority` (= высокий), `assignee` (= регион ДНР).
### Проверка JSON
Модель вернула валидный JSON с полями `region`, `point0`, `current`, `growth` (= 136).
## 4. Оценка стоимости в продакшене
| Объём действий/мес | Оценка стоимости |
|---|---|
| 10 000 | ~$3 |
| 100 000 | ~$30 |
Стоимость пренебрежимо мала относительно бюджета проекта.
## 5. Вывод
`deepseek/deepseek-chat` полностью подходит под задачи ассистента «Зам»: качественный русский язык, надёжный function calling, стабильный JSON, низкая стоимость. Латентность 3–10 с приемлема; при необходимости снижается стримингом ответа.
**Решение:** модель ассистента — `deepseek/deepseek-chat` (OpenRouter). PiAPI — резерв (медиа), не используется на текущем этапе.
## 6. Воспроизведение
```powershell
$env:OPENROUTER_API_KEY = "<ключ>"
py -3 tools/test_models.py --models "deepseek/deepseek-chat"
```
> Ключ API в репозиторий не сохраняется.