11 lines
3.9 KiB
Markdown
11 lines
3.9 KiB
Markdown
# Контракт
|
|
Уточнение v1.2: corrected_rows сравнивает канонические представления всех шести CSV полей (также quantity 01→1 и unit_price 1→1.00). Сообщено обоим работникам.
|
|
Уточнение v1.1 (до реализации): corrected_rows считает принятые строки с измененными нормализованными текстовыми полями, включая дату. Переполнение общей суммы int64 завершает запуск ошибкой до записи. Сообщено обоим работникам.
|
|
CSV UTF-8: order_id,line_id,order_date,category,quantity,unit_price. Зерно: строка заказа, ключ (order_id,line_id), оба непустые строки после strip. Валюта RUB, цена Decimal с максимум двумя дробными знаками, хранение копеек INTEGER. quantity положительное целое; цена положительная. Нули/отрицательные отклоняются. Выручка quantity*unit_price_kopecks.
|
|
Даты строго YYYY-MM-DD, DD.MM.YYYY, YYYY/MM/DD; slash DD/MM/YYYY не поддерживается и отклоняется, угадывания нет. День календарный без времени. Категория: strip, схлопывание whitespace, casefold; непустая, без выдуманных замен.
|
|
Валидация до дедупликации. Первая валидная строка ключа побеждает; следующие с равными нормализованными бизнес-полями — duplicate, с отличающимися — conflicting_key. Порядок файла значим. Основные причины по приоритету: missing_required, invalid_date, invalid_quantity, invalid_price, duplicate, conflicting_key. Для malformed CSV допустим отказ всего запуска до записи. Исправленные принятые строки учитывать отдельно.
|
|
SQLite facts: order_id TEXT,line_id TEXT,order_date TEXT,category TEXT,quantity INTEGER,unit_price_kopecks INTEGER,revenue_kopecks INTEGER; PK(order_id,line_id). daily_category: order_date,category,revenue_kopecks INTEGER, PK(order_date,category). source_row разрешено дополнительно в facts. Все суммы ограничить SQLite int64.
|
|
Запуск: python scripts/generate_data.py --output data/raw/orders.csv --seed 42; python -m src.pipeline --input data/raw/orders.csv --db output/sales.sqlite --reports reports/etl. API run_pipeline(input_path, db_path, reports_dir). Полная замена обеих бизнес-таблиц в одной транзакции; rollback при сбое, пустой/весь отклоненный CSV очищает таблицы корректно.
|
|
Отчеты: reports/etl/quality.json (input_rows,accepted_rows,rejected_rows,corrected_rows,reasons,revenue_kopecks), rejected.csv (source_row,reason и исходные поля). input=accepted+rejected, сумма reasons=rejected. Номер source_row — физическая CSV строка начиная с 2 (встроенные переводы строк запретить либо документировать логический номер).
|
|
SQL последующая волна: top_categories.sql, daily_dynamics.sql (календарь min..max, отсутствующие дни=0), anomalies.sql (объяснимое правило и порог). Результаты CSV в reports/sql. Только инженер пишет итоговую БД и ETL отчеты; тесты только временные БД. Тимлид вправе интеграционно запускать CLI после сдачи инженера.
|