Перезапуск прервёт запросы, очистит кеш модели и статистику, затем загрузит модель заново. История чата сохранится.
Ключ доступа к мониторингу
Ключ хранится только в sessionStorage этой вкладки. На localhost он обычно не требуется.
Ключ не подошёл. Проверьте его и повторите попытку.
Данные ещё не получены.
Текущая работа сервера
—Обновление раз в секундуТекущий запрос——
Prefill · по завершённым чанкам—ток/с
Генерация · средняя—ток/с
До первого токена—с
Прошло—с
Вход: —Обработано: —Кеш: —Новых обработано: —Выход: —
Причина использования кеша пока не определена.
—
Счётчики токенов приходят из native backend. ≈ — предварительное значение либо время обработки нельзя точно отделить от ожидания. Неизвестные значения — прочерк. Данные относятся ко всем наблюдаемым запросам, а не только к этому чату.
Итоговая скорость определяется полным native prefill_ms, а не этой промежуточной оценкой.
Активные
—| Запрос | Endpoint | Источник | Начало | Фаза | Вход | Кеш | Обработано | Выход | Prefill, ток/с | Генерация, ток/с | TTFT, с |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Нет данных | |||||||||||
В очереди
—| Запрос | Endpoint | Источник | Начало | Вход | Ожидание, с |
|---|---|---|---|---|---|
| Нет данных | |||||
История
Последние 100 запросов| Запрос | Endpoint | Источник | Начало | Вход | Кеш | Выход | Prefill, ток/с | Генерация, ток/с | TTFT, с | Кеш: причина | Статус |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Нет данных | |||||||||||
Тексты запросов и ответов не отображаются. История — до 100 записей из памяти backend; после перезапуска она может быть пустой.