Урок 7. Цена ошибки: пропуск против ложной тревоги
Урок 7. Цена ошибки: пропуск против ложной тревоги (ROC)
Паспорт урока
| Параметр | Значение |
|---|---|
| Место в модуле | BeaconRadio, модуль 3 «Классификация», урок 7 из 7 — финал модуля |
| Длительность | 45 мин |
| Возраст | 14–16 |
| Оборудование | fall_detector_sim.py с табло попаданий/пропусков/ложных |
| Предварительные знания | Урок 6: три фазы, пороги, провокации |
| Предмет | Статистика, теория принятия решений, этика инженерии |
Методическая вершина всего курса. Этот урок формирует понимание, которое переносится на любую детекторную задачу и на всю работу с данными: идеального порога не существует, есть осознанный выбор компромисса, и задаёт его не программист, а цена ошибки в конкретном сценарии.
Проведите его без спешки. Если времени мало — лучше сократить практику, но сохранить дискуссию.
Образовательные цели
| № | Цель | Блум | Миллер | Чем доказывается |
|---|---|---|---|---|
| 7.1 | Обосновывать выбор точки на кривой «ложные ↔ пропуски» по цене ошибки | оценивать | показывает как | Аргументация смещения порога |
| 7.2 | Оценивать, как пред-тревога меняет баланс ошибок | оценивать | знает как | Ответ: почему падение с отменой, а SOS — без |
| 7.3 | Объяснять роль ground truth в измерении качества | понимать | знает как | Разбор: откуда известно, что было на самом деле |
| 7.4 | Различать ошибки первого и второго рода | анализировать | знает как | Классификация на примерах |
Сценарий занятия (45 минут)
| Время | Блок | Что делает педагог | Что делают ученики |
|---|---|---|---|
| 0–5 | Retrieval | Мини-квиз по уроку 6 | Пишут, разбор |
| 5–15 | Игра «настрой детектор» | Задание: поймать всё и не ошибиться | Обнаруживают, что невозможно |
| 15–25 | Теория | Два рода ошибок, ROC, ground truth | Разбирают матрицу |
| 25–35 | Дискуссия о цене | Что дороже для нашего устройства? | Аргументируют |
| 35–42 | Пред-тревога | Как она меняет баланс | Разбирают решение |
| 42–45 | Итог модуля | Фиксация | Записывают |
Блок 1. Игра «настрой детектор» (5–15 мин)
Задание командам
«Ваша задача: настроить детектор так, чтобы он ловил все настоящие падения и никогда не срабатывал на провокации. Работайте с симулятором, у вас 8 минут.»
Что произойдёт
Команды будут двигать пороги и обнаружат закономерность:
| Действие | Следствие |
|---|---|
| Понизили пороги | ловится всё, но появляются ложные тревоги |
| Повысили пороги | ложных нет, но пропускаются настоящие падения |
| Ищут «золотую середину» | улучшается одно за счёт другого |
Сбор результатов
Записать на доску результаты команд:
| Команда | Пороги | Поймано из 5 | Пропущено | Ложных |
|---|---|---|---|---|
| 1 | ||||
| 2 | ||||
| 3 |
Постановка проблемы
«Кому-то удалось поймать всё и не дать ни одной ложной? Обычно нет. Это не потому, что вы плохо старались. Это фундаментальное свойство задачи.»
Блок 2. Теория (15–25 мин)
2.1. Базовый уровень (14 лет)
Через пожарную сигнализацию.
Пожарный датчик можно настроить очень чувствительно — тогда он сработает от пара из чайника. Или грубо — тогда он промолчит при настоящем возгорании до последнего.
Идеальной настройки нет: чем чувствительнее, тем больше ложных тревог; чем грубее, тем выше риск пропустить. Настройщик выбирает, какую ошибку он предпочитает.
2.2. Углублённый уровень (14–16 лет)
Шаг 1. Четыре исхода — матрица ошибок.
Любой детектор при любом событии даёт один из четырёх исходов:
| Событие было | События не было | |
|---|---|---|
| Детектор сработал | ✅ Попадание (true positive) | ❌ Ложная тревога (ошибка I рода) |
| Детектор молчал | ❌ Пропуск (ошибка II рода) | ✅ Верное молчание (true negative) |
Диагональ — правильные ответы. Два оставшихся угла — два разных типа ошибок, и в этом суть урока.
Шаг 2. Ground truth — откуда мы знаем правду.
Чтобы посчитать ошибки, нужно знать, что происходило на самом деле. Эта эталонная разметка называется ground truth («истина на местности»).
| Где берётся | В нашем случае |
|---|---|
| В симуляторе | сцена задана: известно, где падение, где провокация |
| В полевом опыте | судья отмечает кнопкой момент реального события |
| В медицине | диагноз, подтверждённый независимым методом |
Без ground truth качество детектора измерить невозможно. Можно бесконечно любоваться графиками и «чувствовать», что настройка хорошая, — но без эталона это ощущение, а не измерение.
Это одна из самых практически важных мыслей курса: прежде чем оценивать качество, обеспечь себе разметку правды.
Шаг 3. Компромисс и ROC-кривая.
Двигая порог, мы перемещаемся по кривой:
доля пойманных
событий ▲
100% ┤ ╭─────── порог низкий: ловим всё,
│ ╭─╯ но много ложных
│ ╭─╯
│ ╭─╯ ← рабочая точка выбирается здесь
│ ╱
0% ┼─────────────────► доля ложных тревог
0% 100%Каждая точка кривой — конкретная настройка порогов. Выбор точки — не математическая, а инженерная задача: он определяется тем, какая ошибка дороже.
Шаг 4. Цена ошибки для нашего устройства.
| Ошибка | Что происходит | Цена |
|---|---|---|
| Пропуск падения | человек лежит, никто не знает | беда не замечена, возможен вред здоровью |
| Ложная тревога | зря побеспокоили родственников | потеря доверия к устройству |
Для маячка человека с деменцией пропуск дороже. Значит, порог смещают в сторону чувствительности, сознательно принимая часть ложных срабатываний.
Но у ложных тревог есть накопительный эффект. Если устройство звенит впустую каждый день, родственники начнут его игнорировать — и тогда настоящая тревога тоже останется без реакции. Это называется «усталость от тревог» (alarm fatigue), и она хорошо изучена в медицине.
То есть слишком много ложных тревог в итоге превращается в пропуски на уровне человека. Компромисс нельзя сдвигать в крайность даже в пользу «более дешёвой» ошибки.
Блок 3. Пред-тревога: как изменить сам компромисс (35–42 мин)
Постановка
«Мы уперлись в выбор: либо ложные тревоги, либо пропуски. А можно ли не выбирать — сделать так, чтобы стало лучше по обоим показателям?»
Решение в нашей прошивке
детектор подтвердил падение
→ НЕ отправлять тревогу немедленно
→ пред-тревога: зуммер звучит 10 секунд
→ человек в порядке? нажимает кнопку → отмена
→ нет реакции за 10 секунд → отправка SOSПочему это работает
Пред-тревога добавляет дополнительный источник информации — реакцию самого человека. Это не сдвиг по существующей кривой, а переход на другую, лучшую кривую.
| Без пред-тревоги | С пред-тревогой | |
|---|---|---|
| Порог детектора | приходится завышать, чтобы не звенеть зря | можно понизить — чувствительнее |
| Ложные тревоги | уходят диспетчеру | гасятся на месте нажатием кнопки |
| Пропуски | больше (из-за высокого порога) | меньше |
| Цена | — | задержка тревоги на 10 секунд |
Почему кнопка SOS работает иначе
«Падение определяет автоматика, и она может ошибиться — поэтому пред-тревога уместна. Кнопку нажимает человек осознанно. Здесь нет неопределённости: если человек просит помощи, задерживать её на 10 секунд неэтично и опасно.»
Правило: пред-тревога уместна там, где решение приняла машина, и неуместна там, где решение принял человек.
Блок 4. Практические задачи
Уровень A (14 лет)
A1. Назовите два типа ошибок детектора и объясните разницу.
Ответ
Ложная тревога — детектор сработал, хотя события не было. Пропуск — событие было, но детектор промолчал.
Разница принципиальна: у них разные последствия и разная цена. Для маячка безопасности пропуск обычно опаснее.
A2. Почему нельзя настроить детектор так, чтобы не было ни одной ошибки?
Ответ
Потому что настоящие события и провокации похожи по измеряемым признакам. Понижая порог, мы ловим больше настоящих, но захватываем и провокации. Повышая — отсекаем провокации, но теряем часть настоящих. Улучшить одно можно только за счёт другого.
A3. Что такое ground truth и зачем он нужен?
Ответ
Это эталонная разметка того, что происходило на самом деле (в симуляторе — заданная сцена, в поле — отметки судьи). Без неё невозможно посчитать, сколько детектор поймал, а сколько пропустил, — то есть невозможно измерить качество.
Уровень B (14–15 лет)
B1. Детектор из 20 настоящих падений поймал 18, и дал 5 ложных тревог на 100 провокаций. Посчитайте долю пойманных и долю ложных.
Решение
Доля пойманных (чувствительность): 18 / 20 = 90%. Пропущено 2 падения (10%).
Доля ложных: 5 / 100 = 5%.
Интерпретация: детектор ловит девять падений из десяти и ошибается в пяти случаях из ста провокаций. Приемлемо ли это — зависит от того, как часто случаются провокации в реальной жизни: если человек садится сто раз в день, пять ложных тревог ежедневно — слишком много.
B2. Как пред-тревога с отменой смещает баланс ошибок?
Ответ
Она позволяет понизить порог детектора (сделать его чувствительнее), потому что ложные срабатывания гасятся на месте: человек нажимает кнопку и тревога не уходит.
В результате уменьшается число пропусков, а ложные тревоги не доходят до диспетчера. Цена — задержка настоящей тревоги на 10 секунд.
Это не движение по кривой компромисса, а переход на лучшую кривую за счёт нового источника информации.
B3. Почему падение сопровождается пред-тревогой, а нажатие кнопки SOS уходит сразу?
Ответ
Падение определяет автоматика, которая может ошибиться, — разумно дать человеку возможность отменить.
Кнопку нажимает человек осознанно, здесь неопределённости нет. Задерживать помощь на 10 секунд, когда человек прямо её просит, неоправданно и опасно.
Правило: пред-тревога уместна для решений машины и неуместна для решений человека.
Уровень C (15–16 лет)
C1. Обоснуйте выбор рабочей точки для трёх устройств с разной ценой ошибки.
Разбор
| Устройство | Пропуск стоит | Ложная стоит | Смещение порога |
|---|---|---|---|
| Маячок человека с деменцией | здоровье, возможно жизнь | беспокойство родных | в сторону чувствительности |
| Автомобильная сигнализация | угон | недовольство соседей, ночной шум | в сторону специфичности |
| Скрининг заболевания | поздняя диагностика | лишнее обследование | в сторону чувствительности (с последующим уточняющим тестом) |
Общий принцип: если после срабатывания есть дешёвая проверка (уточняющий анализ, пред-тревога, звонок), порог смещают в сторону чувствительности. Если проверки нет и каждое срабатывание дорого — в сторону специфичности.
Это ровно то рассуждение, которое стоит за пред-тревогой в нашей прошивке.
C2. «Усталость от тревог»: объясните, почему избыток ложных срабатываний превращается в пропуски.
Разбор
Формально устройство продолжает ловить все события. Но получатель тревог — человек, и он адаптируется: после серии ложных срабатываний он начинает игнорировать сигналы, откладывать проверку, а в пределе — отключать устройство.
В результате настоящая тревога либо остаётся без реакции, либо реакция запаздывает. Пропуск переместился из устройства в систему «устройство + человек».
Вывод для проектирования: качество детектора надо оценивать в контексте всей системы, включая поведение людей. Технически безупречный детектор с 30% ложных срабатываний на практике хуже, чем детектор с 5%.
Этот эффект хорошо документирован в медицине — реакция персонала на мониторы в реанимации.
C3. Спроектируйте протокол полевого испытания детектора, дающий доказательные цифры качества.
Разбор
Необходимые элементы:
- Ground truth: судья с кнопкой отмечает каждое настоящее событие; независимая видеозапись для разрешения спорных случаев.
- Достаточная выборка: не менее 20–30 настоящих событий и не менее 50 провокаций. По 3 попыткам статистику не строят.
- Разнообразие условий: разные люди, разные способы падения (вперёд, назад, боком), разные поверхности, разное расположение устройства.
- Разнообразие провокаций: сесть, лечь, уронить, наклониться, бежать, спуститься по лестнице.
- Слепота настройки: пороги фиксируются до испытания и не подстраиваются по ходу — иначе получится подгонка под выборку.
- Фиксация всех параметров: версия прошивки, пороги, условия — иначе результат невоспроизводим.
- Расчёт метрик с погрешностью: доверительный интервал для доли, а не одно число.
Это готовая методическая часть конкурсной работы.
Ответы на вопросы, которые прозвучат
| Вопрос ученика | Как отвечать |
|---|---|
| «А нельзя сделать детектор идеальным?» | Нет, пока признаки настоящего события и провокации пересекаются. Улучшить можно, добавив новый источник информации (датчик, реакцию человека) — но не подкруткой порога |
| «Кто решает, какой порог правильный?» | Не программист — сценарий применения. Инженер обязан спросить: что дороже в этой задаче? Ответ приходит от заказчика, врача, спасателя |
| «Почему бы не сделать очень чувствительно — лучше перебдеть?» | До определённого предела да. Но избыток ложных тревог приводит к тому, что им перестают верить, — и это превращается в пропуски на уровне человека |
| «А как это делают в настоящих медицинских устройствах?» | Точно так же: измеряют чувствительность и специфичность на большой размеченной выборке, публикуют цифры, и регулятор оценивает их приемлемость для конкретного применения |
| «Нейросеть решила бы эту проблему?» | Нет. Она может дать точку получше на кривой, но сам компромисс останется: у любого классификатора есть выбор между двумя ошибками |
Раздаточный лист (для печати)
Урок 7. Цена ошибки
Матрица исходов — заполните названия:
Событие было События не было Детектор сработал Детектор молчал Игра «настрой детектор». Мои результаты:
Попытка Пороги (FF / удар / σ) Поймано Пропущено Ложных 1 2 3 Удалось ли поймать всё БЕЗ ложных? ____ Почему? ______________
Цена ошибки для нашего маячка:
Ошибка Что происходит Насколько это плохо Пропуск падения Ложная тревога Куда смещаем порог и почему: ___________________________
Пред-тревога (10 с с отменой):
Что она позволяет сделать с порогом? _______________________
Почему кнопка SOS работает без неё? _______________________
Главный вывод модуля:
_____________________________________________________
Домашнее задание
Обязательная часть
Врайтап по рубрике А. Обязательный пункт: какая ошибка дороже для нашего маячка и почему — с вашей аргументацией.
Уровень A
Найти три системы из жизни, где есть компромисс «ложная тревога против пропуска» (пожарный датчик, металлодетектор, антивирус). Для каждой определить, какая ошибка дороже.
Уровень B
Посчитать чувствительность и долю ложных для своих результатов из игры. Отметить свои три попытки точками на осях «доля пойманных — доля ложных» и соединить: получится участок ROC-кривой.
Уровень C
Изучить понятие «усталость от тревог» в медицине. Написать краткое обоснование: как это явление должно влиять на выбор порога в нашем маячке, и предложить способ измерить его влияние.
Итог урока и всего модуля
Вывод урока 7
- Любой детектор даёт четыре исхода; два из них — разные типы ошибок: ложная тревога и пропуск.
- Ground truth (разметка правды) обязателен: без него качество не измерить, а только почувствовать.
- Идеального порога не существует — есть выбор точки на кривой компромисса.
- Точку выбирает не программист, а цена ошибки в сценарии применения.
- Для маячка безопасности пропуск дороже, но избыток ложных вызывает «усталость от тревог» и превращается в пропуски на уровне человека.
- Пред-тревога добавляет новый источник информации и улучшает оба показателя сразу — это лучше, чем двигать порог.
- Пред-тревога уместна для решений машины и неуместна для решений человека.
Связь с курсом
| Что родилось на этом уроке | Где станет инструментом |
|---|---|
| Матрица ошибок, ROC | RFCurtain урок 4 (турнир «настрой детектор») |
| Ground truth | RFCurtain (кнопка судьи), WarWalk (отметки MARK) |
| Цена ошибки определяет порог | PowerSentry (подтверждение протечки) |
| Дополнительный источник вместо сдвига порога | Проектирование любых детекторов |
Чек-лист педагога перед уроком
- Симулятор с табло попаданий/пропусков/ложных проверен
- Доска подготовлена для таблицы результатов команд
- Продумана дискуссия о цене ошибки — это ядро урока, не сокращать
- Раздаточный лист распечатан
- Помнить об этическом ограничении: имитацию падений детьми не проводить