Конвейер успешно выполнился, но в итоговой таблице исчезли данные одного региона. Технический статус задания не отражает полноту и смысл результата. Проверки качества нужно связывать с ожиданиями источника и действиями при нарушении.
Что подготовить
- Правила обязательности, уникальности и допустимых диапазонов.
- Ожидаемые объемы по периодам и важным сегментам.
- Политика остановки, частичной публикации и исправления ошибочных записей.
Порядок работы
- Разделите жесткие инварианты и сигналы необычного поведения. Нулевой ключ и падение объема требуют разных решений.
- Добавьте проверки до преобразования и после него, чтобы локализовать этап потери.
- Сравнивайте объемы по сегментам и учитывайте известную сезонность или неполный период.
- Изолируйте отклоненные записи с причиной, сохраняя связь с исходным пакетом.
- Публикуйте результат только после предусмотренного набора проверок и сохраняйте отчет для расследования.
Разобранный пример
Всего строк столько же, но регион А исчез, а регион Б удвоился из-за неверного соединения. Проверка общего количества проходит; контроль распределения и уникальности ключа выявляет проблему до публикации.
Как проверить результат
- Принятые и отклоненные записи вместе объясняют входной объем.
- Проверка действительно срабатывает на специально подготовленном нарушении.
- Оповещение содержит пакет, правило и масштаб проблемы, а не только слово «ошибка».
Если что-то пошло не так
Если порог дает ложные тревоги, уточните модель ожидаемого поведения, а не отключайте контроль полностью. При неизвестном изменении источника остановите публикацию критичного результата и запросите подтверждение нового контракта.
Паспорт правила качества
Для каждого правила заведите паспорт: проверяемое свойство, область данных, серьезность, порог, действие и владелец решения. Уникальность ключа может быть обязательным инвариантом, а отклонение объема — поводом для расследования. Не объединяйте их одним красным индикатором, иначе оператор не поймет, можно ли публиковать результат.
Добавьте происхождение порога. Он может следовать из формального ограничения или наблюдаемого диапазона, но это разные основания. Для наблюдаемого диапазона укажите период сравнения и известные исключения. Если текущая выгрузка еще неполна, сравнение с завершенным днем даст предсказуемую ложную тревогу. Проверка должна учитывать готовность самого пакета.
На тестовом наборе внесите конкретные нарушения: повтор ключа, отсутствие обязательного поля и потерю одного сегмента. Убедитесь, что каждое обнаруживается соответствующим правилом и приводит к нужному действию. После исправления исходных данных проверьте повторный запуск и снятие блокировки. Отчет качества должен сопровождать опубликованный набор и позволять установить, какие проверки были выполнены именно для этой версии. Если правило отключено, отметьте причину и срок пересмотра. Молчаливое отключение делает зеленый статус несопоставимым с предыдущими выпусками, хотя пользователи продолжают воспринимать его как прежнюю гарантию.
Промпт для разбора ваших материалов
Спроектируй проверки качества для описанного конвейера. Раздели инварианты и аномалии, укажи место проверки, действие при нарушении и состав отчета. Добавь тестовые нарушения для подтверждения работоспособности контроля.Частые вопросы
Нужно ли останавливать конвейер при любой аномалии?
Нет. Действие зависит от критичности и уверенности правила; это должно быть определено заранее.
Можно ли брать вчерашний объем как норму?
Иногда это полезный ориентир, но нужно учитывать календарь, сезонность и полноту текущего периода.
Материал библиотеки решений Ильи Тарасова / TarasovWeb.
О проекте
Практическая библиотека Ильи Тарасова и TarasovWeb. Telegram-канал · Личная страница · ВКонтакте.
#tarasovweb #ИльяТарасов