3. Диагностика и учебная аналитика
Диагностика и данные
Документ реализует главу 5 эталонного модуля («Данные в помощь преподавателю»), не отражённую в УМК ни одним пунктом, и закрывает дефицит когнитивных инструментов из главы 6 (§3.5 экспертного заключения).
1. Входная диагностика
Проводится до первого занятия, занимает 20–25 минут. Назначение — калибровка сложности (зона ближайшего развития) и формирование команд.
1.1. Анкета участника
| Блок | Вопросы |
|---|---|
| Опыт | Работал ли с микроконтроллером (Arduino и т. п.)? Паял ли? Писал ли код — на чём? Собирал ли что-то, что работает от батарейки? |
| Математика | Знаком ли с логарифмом? С процентами и степенями? С понятием среднего и медианы? |
| Мотивация | Почему пришёл? Что хочешь уметь к концу года? Есть ли цель, связанная с поступлением или конкурсами? |
| Формат | Комфортнее работать одному или в команде? Готов выступать публично? |
| Ресурс | Есть ли дома компьютер для работы между занятиями? Возможность выйти в поле в выходной? |
1.2. Диагностическое задание (без оценки)
Три задачи по 5 минут, показывающие стартовый уровень мышления, а не знаний:
Оценка порядка величины. «Лампочка на 5 Вт горит от батарейки на 2500 мА·ч и 3 В. Сколько примерно проработает? Ответ можно грубо, важен ход рассуждения». Проверяет: готовность к бюджетным расчётам модуля PowerSentry.
Работа с зашумлёнными данными. «Пять измерений: 95, 97, 96, 70, 98. Какое число лучше описывает результат и почему?» Проверяет: интуицию робастности (WarWalk, урок 4).
Причинно-следственный вывод. «Прибор показывает „связи нет". Назови три разные причины, которые дадут одинаковую надпись». Проверяет: готовность к лестнице диагностики — ключевому методу всего курса.
2. Контрольные точки по модулям
Заменяют отсутствующий промежуточный контроль. Каждая точка — формирующая: результат не идёт в итог, а управляет ходом курса.
| Модуль | Точка | Когда | Что фиксируется | Сигнал тревоги |
|---|---|---|---|---|
| BeaconRadio | Пакет собран на бумаге | занятие 2 | доля учеников, собравших 0x69 верно | < 60% — вернуться к битовым операциям |
| BeaconRadio | Пороги детектора подобраны | занятие 4 | найдена ли пара порогов в симуляторе | < 50% — разбирать фазы FSM вместе |
| FoxHunter | Лиса найдена | полевой выход | время поиска по командам | разброс > 3× — проблема с мощностью лисы |
| FoxHunter | Механизм replay объяснён | занятие 5 | может ли объяснить различие ребута и атаки | < 50% — вернуть на симулятор |
| PowerSentry | Таблица едоков заполнена | занятие 3 | число найденных потребителей на команду | < 3 — методика измерения не усвоена |
| PowerSentry | Расчёт ёмкости выполнен | занятие 5 | верный порядок величины PDR | < 50% — разобрать ALOHA на пальцах |
| RFCurtain | Турнир проведён | занятие 4 | счёт и обоснование порогов | обоснование «наугад» у большинства — вернуть на калибровку |
| WarWalk | Прогулка размечена | полевой выход | доля точек с ground truth (MARK) | < 30% — протоколист не работает |
2.1. Лист наблюдений педагога
Заполняется в конце каждого занятия, 3 минуты.
| Дата | Занятие | Присутствие | Где «застряли» (тема) | Настроение группы (1–5) | Что изменить в следующий раз |
|---|---|---|---|---|---|
3. Retrieval practice: мини-квизы к занятиям
Закрывает дефицит §3.5. Каждое занятие начинается с письменного мини-квиза на 5 минут по прошлой теме, без оценки в журнал. Это самый сильный по доказательной базе и самый дешёвый в реализации инструмент.
3.1. Банк вопросов (по 3 на занятие)
После BeaconRadio, урок 1:
- Сколько байт занимает координата в нашем пакете и почему не 8?
- Что означает бит 3 в статус-байте?
- Зачем нужен счётчик
seq, если естьFCntу LoRaWAN?
После BeaconRadio, урок 4:
- Почему нельзя брать первый фикс GPS?
- Что означает «флаг валидности = возраст фикса меньше порога»?
- Что покажет замолчавший GPS, если не проверять свежесть?
После FoxHunter, урок 1:
- Почему в здании ищут по громкости, а не по направлению?
- На сколько падает RSSI при удвоении расстояния (примерно)?
- Что означает тишина в зуммере — «далеко» или «потеряли»?
После FoxHunter, урок 5:
- Чем отличается
fcntпри replay-атаке и при ребуте лисы? - Почему подпись не защищает от повтора?
- Зачем требовать три растущих пакета, а не один?
После PowerSentry, урок 1:
- Что съедает больше за сутки: сон или передача? Почему?
- Ток сна 2 мкА, ток передачи 45 мА — во сколько раз разница и почему это не решает?
- Что произойдёт со сроком жизни, если слать раз в минуту?
После PowerSentry, урок 5:
- Почему редкие уплинки увеличивают число узлов на шлюз?
- Что такое коллизия в ALOHA?
- Как переход с SF10 на SF12 влияет на ёмкость сети?
После RFCurtain, урок 2:
- Чем медленная база отличается от быстрой медианы?
- Зачем нужны два признака, а не один?
- Почему обрыв линка — отдельный класс?
После WarWalk, урок 5:
- Почему карта только из услышанных точек врёт?
- Что такое цензурированные данные?
- Зачем логировать окна с нулём пакетов?
3.2. Правила проведения
- Письменно, индивидуально, 5 минут, без подглядывания;
- Проверка сразу вслух, ответы обсуждаются;
- В журнал не идёт — иначе превращается в контроль и теряет эффект;
- Ученику объясняется, зачем это делается: усилие вспоминания укрепляет память сильнее перечитывания.
4. Интервальное повторение: кумулятивные возвраты
Таблица сквозной прогрессии понятий из Программа_курса.md — готовая основа для возвратов. Правило: понятие, «рождённое» в модуле N, обязательно вспоминается в модуле N+1 до того, как станет инструментом.
| Понятие | Рождается | Возврат через модуль | Форма возврата |
|---|---|---|---|
| дБм, логарифм | FoxHunter | WarWalk, урок 1 | «вспомните: на сколько дБ падает при удвоении?» |
| Медиана против среднего | FoxHunter, урок 3 | WarWalk, урок 4 | расчёт по ряду с выбросом |
| Пакет и CRC | BeaconRadio | RFCurtain, урок 1 | «спроектируйте пакет занавеса за 10 минут» |
| Цена ошибки, ROC | BeaconRadio, урок 7 | RFCurtain, урок 4 | турнир — применение без напоминания |
| Три уровня диагностики | BeaconRadio | все последующие | обязательный вопрос при любом отказе |
| Duty cycle | FoxHunter | RFCurtain, урок 1 | самостоятельный расчёт SF5/BW500 |
| Событие против расписания | PowerSentry, урок 3 | выпускной проект | обоснование архитектуры своего узла |
5. Анализ различающей способности заданий
Инструмент из главы 5 эталона, применённый к УМК. Проводится после модуля.
5.1. Процедура
- Ранжировать учеников по совокупному результату модуля;
- Выделить верхние 30% и нижние 30%;
- По каждому заданию посчитать долю справившихся в каждой группе;
- Вычислить индекс различения:
D = доля_верхних − доля_нижних.
| Значение D | Интерпретация | Действие |
|---|---|---|
| > 0,4 | задание отлично различает уровень | сохранить |
| 0,2–0,4 | приемлемо | сохранить |
| 0–0,2 | слабо различает | переформулировать |
| < 0 | различает наоборот — дефект задания | переработать обязательно |
5.2. Задания УМК под подозрением
По результатам экспертизы формулировок заранее прогнозирую низкое различение у следующих заданий — их следует проверить в первую очередь:
| Задание | Почему под подозрением |
|---|---|
| WarWalk, урок 5: «придумайте бытовой пример ошибки выжившего» | Выполнимо без понимания темы — пример можно вспомнить готовым |
| FoxHunter, урок 4: «какое поле выдало подделку» | Ответ подсказан текстом разбора выше по странице |
| PowerSentry, урок 4: «почему подтверждение 2 с, а отбой 30 с» | Ответ содержится в формулировке вопроса |
6. Что смотреть в данных к концу года
| Вопрос | Где данные | Что искать |
|---|---|---|
| Кто к нам пришёл | входная анкета | распределение опыта и мотивации |
| Где «пропадают» | лист наблюдений, посещаемость | занятие, после которого падает явка |
| Работают ли задания | индекс различения | задания с D < 0,2 |
| Достигнуты ли цели | карта целей + рубрики | цели без единого доказательства достижения |
| Что менять | сопоставление всего вышеперечисленного | 3 вывода и 3 изменения на следующий запуск |