Ready
This commit is contained in:
commit
95cacc79c2
34 files changed
+1394
No files matched your search
@@ -0,0 +1,17 @@
|
||||
# Передача data-engineer
|
||||
Владение: src/, scripts/generate_data.py, data/raw/, output/sales.sqlite, reports/etl/. Реализованы stdlib генератор seed=42 и строгий ETL согласно контракту v1 (уточнение corrected_rows согласовано с тимлидом: канонические представления всех 6 полей).
|
||||
|
||||
Выполнено Python 3.12.14 из bundled runtime:
|
||||
```
|
||||
python scripts/generate_data.py --output data/raw/orders.csv --seed 42
|
||||
python -m src.pipeline --input data/raw/orders.csv --db output/sales.sqlite --reports reports/etl
|
||||
```
|
||||
Фактический результат: 301 входных = 290 принятых + 11 отклоненных. Причины: missing_required 2, invalid_date 2, invalid_quantity 2, invalid_price 3, duplicate 1, conflicting_key 1. corrected_rows=290. Выручка 99119395 копеек. Вход SHA256 a7816b666a8b3dc8833f937970cab2bc7206b6fd44ea3413547eb06f17e1cfe5.
|
||||
|
||||
Повторный запуск через run_pipeline и сравнение SELECT * ORDER BY бизнес-ключи: PASS; 290 фактов, 87 агрегатов. PRAGMA integrity_check=ok. SUM(facts)=SUM(daily_category)=99119395.
|
||||
|
||||
Стратегия: CSV проверяется полностью до БД, SQLite BEGIN IMMEDIATE включает CREATE IF NOT EXISTS, DELETE и INSERT, rollback при ошибке. Тестировщику сообщен интерфейс и возможность инъекции сбоя BEFORE INSERT trigger. Номера исходных строк физические; многострочные значения запрещены ошибкой всего запуска. Нулевой байтовый вход допустим, ошибочный заголовок нет.
|
||||
|
||||
Ограничения: вся выгрузка в памяти; полная замена, не инкрементальная загрузка. Публикация filesystem отчетов после commit БД не имеет общей транзакции с SQLite: при сбое публикации повторить CLI. Итоговая БД и reports/etl могут перезаписываться повторным запуском осознанно, пользовательские файлы не затронуты. Отсутствие 13 января и пик 23 января намеренно заложены в синтетические валидные продажи.
|
||||
|
||||
Далее: независимые тесты, SQL и документация; владелец итоговой БД передает право интеграционного запуска тимлиду.
|
||||
Reference in new issue
Block a user