Мониторинг модели: направление цены на электроэнергию
Запись прогона: модель получает поток из 40 тыс. получасовых записей рынка NSW (Австралия, 1996–1998), после каждого прогноза приходит истинный ответ, каждые 1000 размеченных примеров модель дообучается. Метрики собирает Prometheus, живой дашборд — Grafana; эта страница строится из тех же рядов, выгруженных из Prometheus.
Accuracy на последних 500 примерах
Дообучаемая модель против первой версии, которую не трогали. Пунктир — всегда угадывать самый частый класс.
Версия модели
Каждая ступенька — дообучение через partial_fit
Log loss
Качество вероятностей; ниже — лучше
Дрейф признаков (PSI против обучающей выборки)
В обучающих данных признаки рынка Виктории — константа-заглушка; примерно с 12-тысячного примера в потоке появляются настоящие значения, и PSI резко растёт.
Доля прогнозов UP
Сигнал, доступный ещё до прихода истинных ответов
Задержка /predict, p95
Миллисекунды, по гистограмме Prometheus