Этап: SQLite и запуск пайплайна

2026-11-12 08:43:34 +03:00
1 parent 626ac21b41
commit d90f1f30b2
@@ -35,3 +35,35 @@
 **Решения и изменения.** csv.reader в строгом режиме читает UTF-8 с поддержкой BOM и нумерует логические записи после заголовка. Нечитаемый файл, ошибка разбора CSV или неверный заголовок прерывают обработку. Для читаемой записи неверной ширины сохраняются все исходные поля. Точный дубль получает только причину повтора. Для остальных структурно корректных записей собираются ошибки независимых полей. Выручка проверяется при пригодных для расчёта цене и количестве. Среди валидных заказов сначала определяется наличие конфликта во всей группе ID. Номер источника сохраняется и у принятого заказа, но исключён из сравнения нормализованных значений. План обновлён согласно уточнению о нескольких причинах.

 **Фактические проверки.** Полный запуск pytest дал 32 passed. На синтетическом raw_orders.csv обработаны 1500 записей, приняты 1482, отброшены 18. Из них 14 имели ошибки значений, одна оказалась точным дублем, одна — нормализованным, две отклонены из-за конфликта ID. Проверено, что номера от 1 до 1500 встречаются в совокупном результате ровно по одному разу. Байты CSV до и после обработки совпали, SHA-256 — `c4b9ffd2eb24c6c79b6a3e2436f3bd348ba86696a1aeb9b7e3083af65c799c67`.
+
+## 12 ноября 2026 — дополнительные проверки генерации, чтения и очистки
+
+**Запрос пользователя.** Проверить запланированные примеры в CSV, обработку ошибок файла, нумерацию, деньги и приоритет причин отбраковки. Устранить повтор схемы CSV и уточнить план экспорта и аналитики.
+
+**Изменения.** Генератор использует FIELDS из extract.py. Добавлено шесть тестов. Они проверяют содержимое созданного во временной папке CSV, неверную кодировку, отказ при открытии файла (подмена PermissionError), многострочное поле с CRLF и нумерацию после него, смешанную группу дублей и конфликтов с проверкой порядка обоих списков, расчёт большой суммы с точностью до копейки. Новые проверки прошли на существующей логике очистки.
+
+**План.** Уточнены состав clean_orders.csv и учёт нескольких причин у одной отброшенной записи. Для будущих отчётов принят календарь между крайними датами принятых заказов. Для аномалий каждой категории учитываются нулевые дни, используется стандартное отклонение генеральной совокупности и строгий двусторонний порог 2σ. При периоде короче семи дней или нулевой дисперсии результат пуст.
+
+**Проверки.** Через существующую .venv выполнен полный pytest до изменений (32 passed) и после (38 passed). На исходном CSV принято 1482 заказа, отклонено 18. SHA-256 перед работой и после проверок совпал — `c4b9ffd2eb24c6c79b6a3e2436f3bd348ba86696a1aeb9b7e3083af65c799c67`. Повторно сгенерированный во временной папке CSV побайтово совпал с исходным.
+
+## 12 ноября 2026 — уточнение аналитики и пути экспорта
+
+По запросу пользователя в плане закреплён путь `outputs/clean_orders.csv` относительно корня проекта. Динамику показываем по общей дневной выручке всех категорий, одной строкой на дату. Аномалии ищем отдельно по дневной выручке каждой категории, используя её собственные среднее и стандартное отклонение.
+
+## 12 ноября 2026 — статистика и экспорт результатов
+
+**Запрос пользователя.** Создать quality.py, выгрузить два CSV в UTF-8 с BOM и отчёт JSON, проверить баланс, повторный запуск и пустой снимок. Предусмотреть сохранение после успешной загрузки БД.
+
+**Решения.** Модуль принимает результаты очистки и отдельное число исходных записей. Проверяет сумму статусов и покрытие всех исходных номеров без повторов. Итоговая причина — первая из обнаруженных в порядке проверок. Отдельные счётчики проблем включают все обнаруженные причины и могут пересекаться. В CSV отбраковки заголовок источника, исходные значения и причины представлены JSON-массивами. Так сохраняются порядок колонок, пустые и лишние поля. Состав чистого CSV уточнён в плане до шести запрошенных колонок. При сборке пайплайна save_outputs будет вызываться после успешного завершения транзакции БД.
+
+**Фактические проверки.** Через существующую .venv выполнен полный pytest — 40 passed. Временный пример проверил несколько причин у одной записи, порядок, кодировку, обратное чтение значений, побайтовое совпадение при повторном экспорте и замену снимка пустым с долей null. Проверено отклонение несогласованных количеств и повторяющихся номеров. Для текущего этапа три файла созданы прямым вызовом экспорта после очистки. Чтение результатов из outputs подтвердило 1482 принятых и 18 отброшенных из 1500, доля 0,988. Суммы обоих счётчиков на этом наборе равны 18. SHA-256 исходного CSV до и после совпал.
+
+## 12 ноября 2026 — транзакционная загрузка и запуск пайплайна
+
+**Запрос пользователя.** Реализовать схему SQLite, полную загрузку заказов и дневных агрегатов и команду python main.py. Проверить повторяемость данных, согласованность CSV, обработку пустого снимка и сохранность предыдущих данных при сбое.
+
+**Решения.** В sql/schema.sql заданы первичные ключи и ограничения значений. src/database.py открывает одну транзакцию до создания и очистки таблиц, вставляет заказы с параметрами, строит daily_category_revenue одним группирующим запросом и фиксирует обе таблицы вместе. main.py проверяет статистику до записи базы. После фиксации он передаёт готовый отчёт в save_reports. Если экспорт завершается ошибкой, CLI указывает, что база уже обновлена, и сохраняет исходную диагностику. Ранее использовавшийся интерфейс save_outputs сохранён.
+
+**Фактические проверки.** В существующей .venv прошли все 45 тестов. Пять новых интеграционных тестов запускали копию проекта во временном каталоге из другой рабочей папки. Переполнение суммы группы откатило изменения обеих таблиц. Испорченный CSV сохранил прежний снимок. Набор без принятых заказов очистил обе таблицы. Сбой экспорта после фиксации базы завершил CLI с ненулевым кодом и сообщением об обновлённой БД.
+
+На рабочем синтетическом CSV команда python main.py создала outputs/orders.db. Вход — 1500 записей, приняты 1482, отброшены 18. Получено 438 групп по дате и категории. Суммарная выручка в обеих таблицах составила 1 687 705 899 копеек. Содержимое обеих таблиц сравнили до и после повторного запуска, заказы сверили по всем шести полям с clean_orders.csv. SHA-256 исходного CSV совпал с исходным замером. Аналитические запросы остаются следующим этапом.
@@ -21,6 +21,7 @@
 3. Проверить число полей. Для записи правильной ширины собрать все ошибки независимых полей в порядке таблицы. Проверить произведение, только если количество и цена прошли проверку. Сохранять один итоговый статус и список фактически установленных причин на запись.
 4. Сгруппировать только валидные записи по нормализованному ID. Сравнивать дату, категорию, количество и цену в копейках. Если значения совпадают у всей группы, принять запись с наименьшим номером, остальные отметить как нормализованные дубли. Если есть хотя бы два варианта значений, отклонить всю валидную группу как конфликт ID, включая повторившиеся варианты. Уже отброшенные точные дубли сохраняют исходную причину.
 5. Вывести количество прочитанных, принятых и отброшенных записей, разбивку по причинам и номера отклонённых записей. Число прочитанных должно равняться сумме принятых и отброшенных. Сумма счётчиков причин может быть больше числа отброшенных записей.
+6. Перед загрузкой БД сформировать статистику через `build_report`, передав число прочитанных записей. После фиксации транзакции вызвать `save_reports(accepted, rejected, report)`. В `outputs/clean_orders.csv` записать колонки `order_id`, `order_date`, `category`, `quantity`, `unit_price_kopecks`, `revenue_kopecks` в исходном порядке записей. В `outputs/rejected_rows.csv` сохранить номер записи, исходный заголовок, значения и причины. В `outputs/quality_report.json` сохранить статистику. Каждый запуск заменяет файлы, пустые CSV содержат заголовки.

 ## Модули и загрузка

@@ -28,24 +29,27 @@
 |---|---|
 | `src/extract.py` | `read_records(path) -> Iterator[RawRecord]`. Передаёт номер записи и исходные значения, проверяет заголовок и ширину записи. |
 | `src/transform.py` | `clean_orders(records) -> tuple[list[Order], list[RejectedRecord]]`. Рассчитывает выручку одного заказа и возвращает принятые заказы и отбраковку с причинами. |
-| `src/storage.py` | `reload_database(path, orders) -> None`. Обновляет обе таблицы атомарно и рассчитывает дневные агрегаты в SQLite. |
+| `src/database.py` | `reload_database(path, orders) -> None`. Обновляет обе таблицы атомарно и рассчитывает дневные агрегаты в SQLite. |
 | `main.py` | Определяет корень по расположению самого файла, собирает пути к ресурсам, вызывает этапы и выводит отчёт. |

-В `orders` хранить одну принятую запись на `order_id` (первичный ключ), включая номер записи, дату, категорию, количество, цену и выручку в копейках. В `daily_revenue` хранить сумму выручки в копейках с составным первичным ключом из даты и категории.
+В `orders` хранить одну принятую запись на `order_id` (первичный ключ), включая дату, категорию, количество, цену и выручку в копейках. В `daily_category_revenue` хранить количество заказов и сумму выручки в копейках с составным первичным ключом из даты и категории.

-В одной явной транзакции создать таблицы при первом запуске, очистить обе, загрузить принятые заказы и заполнить `daily_revenue` запросом с `SUM` и `GROUP BY order_date, category` из `orders`. Это единственное место построения дневной витрины. Зафиксировать транзакцию после успешного завершения всех операций. Ошибка загрузки или переполнение суммы группы отменяет транзакцию целиком, сохраняя предыдущие данные.
+В одной явной транзакции создать таблицы при первом запуске, очистить обе, загрузить принятые заказы и заполнить `daily_category_revenue` запросом с `SUM` и `GROUP BY order_date, category` из `orders`. Это единственное место построения дневной витрины. Зафиксировать транзакцию после успешного завершения всех операций. Ошибка загрузки или переполнение суммы группы отменяет транзакцию целиком, сохраняя предыдущие данные.

 ## Неоднозначности и рабочие допущения

- Исходного CSV пока нет. Предлагаемый формат — UTF-8 с поддержкой BOM, запятая между полями, двойные кавычки для значений с запятой или переводом строки. Для синтетического набора явно указать происхождение в README. Исходный файл открывать только на чтение.
+- Исходный синтетический набор находится в `data/raw_orders.csv`. Формат — UTF-8 с поддержкой BOM при чтении, запятая между полями, двойные кавычки для значений с запятой или переводом строки. Указать происхождение в README. При обработке исходный файл открывать только на чтение.
 - Колонки сопоставлять по именам. Отсутствующее, повторное или лишнее имя в заголовке считать ошибкой файла. Неверное число полей в читаемой записи считать ошибкой записи. Если из-за повреждения CSV границы записей определить невозможно, остановить запуск до загрузки.
 - Файл с корректным заголовком и нулём принятых заказов считать пустым снимком. При полной перезагрузке обе таблицы станут пустыми.
- Для аналитики предлагаются три запроса к витрине. Топ — пять категорий по суммарной выручке с сортировкой по имени при равенстве. Динамика — сумма по дате и изменение в копейках к предыдущей доступной дате. Аномалия — дневная выручка категории более чем вдвое выше предыдущего наблюдения той же категории. Первое наблюдение пропускается, пропущенные даты нулями не заполняются. Порог — рабочее допущение для тестового задания.
+- Для аналитики использовать календарь от первой до последней даты принятого заказа включительно. В отчётах заполнять нулями дни без продаж, в том числе для каждой категории, встречающейся в снимке. Для пустого снимка календарь пуст.
+- Топ — пять категорий по суммарной выручке с сортировкой по имени при равенстве. Для динамики суммировать выручку всех категорий за каждый календарный день. Выводить одну строку на дату с общей выручкой и её изменением в копейках к предыдущему дню. Для первого дня изменение не определено.
+- Аномалии искать отдельно для каждой категории. По всему календарю, включая нулевые дни, по дневной выручке этой категории рассчитать среднее и стандартное отклонение генеральной совокупности (дисперсия с делением на число дней). Отмечать день при абсолютном отклонении от среднего строго больше двух стандартных отклонений. Проверять как рост, так и падение. При числе дней меньше 7 или нулевой дисперсии аномалии не выдавать.

 ## Критерии готовности реализации

 - На pytest проверить оба формата дат, невозможные даты, пробелы, пустые поля, дробное количество, варианты цены и переполнение на границе INTEGER. Проверить нумерацию на CSV с многострочным полем.
 - На размеченном примере сверить статус каждой исходной записи, причины и баланс счётчиков. Включить повтор невалидной записи, одинаковые нормализованные заказы, конфликт из трёх записей с двумя совпадающими вариантами и валидную запись рядом с невалидной того же ID.
 - Сверить копейки по известному примеру. Две единицы по 10,25 рубля и одна за 0,50 рубля в тот же день и в той же категории должны дать одну строку витрины на 2100 копеек.
+- Сверить строки `outputs/clean_orders.csv` с принятыми заказами. Для аналитики проверить календарный пропуск, периоды в 6 и 7 дней, постоянную выручку и значения ниже, выше и точно на границе двух стандартных отклонений.
 - Запустить пайплайн дважды с тем же CSV, в том числе из другой рабочей папки. Сравнить содержимое обеих таблиц, отчёты и контрольную сумму исходного файла. На изменённом снимке проверить удаление устаревших заказов и агрегатов. На переполнении суммы группы проверить откат обеих таблиц.
 - Перед сдачей подготовить готовую SQLite-базу, три SQL-запроса с фактическими результатами, README с командами запуска и тестов и журнал фактически выполненных проверок.
@@ -0,0 +1,32 @@
+import sqlite3
+import sys
+
+from src.database import reload_database
+from src.extract import CSVFileError, read_records
+from src.quality import OUTPUT_DIR, build_report, save_reports
+from src.transform import clean_orders
+
+
+def main() -> int:
+    try:
+        records = list(read_records())
+        accepted, rejected = clean_orders(records)
+        report = build_report(accepted, rejected, len(records))
+        reload_database(OUTPUT_DIR / "orders.db", accepted)
+    except (CSVFileError, sqlite3.Error, OSError) as exc:
+        print(f"Загрузка не завершена. {type(exc).__name__}: {exc}", file=sys.stderr)
+        return 1
+
+    try:
+        save_reports(accepted, rejected, report)
+    except Exception as exc:
+        exc.add_note("База уже обновлена. Сохранение файлов отчётов не завершено.")
+        raise
+
+    print(f"Загрузка и экспорт завершены. Прочитано {len(records)}, "
+          f"принято {len(accepted)}, отброшено {len(rejected)}.")
+    return 0
+
+
+if __name__ == "__main__":
+    sys.exit(main())
@@ -0,0 +1,39 @@
+{
+  "source_count": 1500,
+  "accepted_count": 1482,
+  "rejected_count": 18,
+  "final_reason_counts": {
+    "order_date: несуществующая календарная дата": 1,
+    "order_date: ожидается YYYY-MM-DD или DD.MM.YYYY": 1,
+    "order_date: пропущено обязательное значение": 1,
+    "order_id: пропущено обязательное значение": 1,
+    "quantity: значение должно быть больше нуля": 1,
+    "quantity: ожидается положительное целое число": 3,
+    "quantity: пропущено обязательное значение": 1,
+    "unit_price: больше двух дробных знаков": 1,
+    "unit_price: ожидается положительная десятичная цена в рублях": 2,
+    "unit_price: пропущено обязательное значение": 1,
+    "unit_price: цена должна быть больше нуля": 1,
+    "Конфликт order_id": 2,
+    "Нормализованный дубль": 1,
+    "Точный дубль": 1
+  },
+  "problem_counts": {
+    "order_date: несуществующая календарная дата": 1,
+    "order_date: ожидается YYYY-MM-DD или DD.MM.YYYY": 1,
+    "order_date: пропущено обязательное значение": 1,
+    "order_id: пропущено обязательное значение": 1,
+    "quantity: значение должно быть больше нуля": 1,
+    "quantity: ожидается положительное целое число": 3,
+    "quantity: пропущено обязательное значение": 1,
+    "unit_price: больше двух дробных знаков": 1,
+    "unit_price: ожидается положительная десятичная цена в рублях": 2,
+    "unit_price: пропущено обязательное значение": 1,
+    "unit_price: цена должна быть больше нуля": 1,
+    "Конфликт order_id": 2,
+    "Нормализованный дубль": 1,
+    "Точный дубль": 1
+  },
+  "accepted_share": 0.988,
+  "counting_note": "Итоговая причина — первая в порядке проверок. Каждая отброшенная запись учтена по ней один раз. Счётчики проблем пересекаются: запись учитывается один раз по каждой обнаруженной у неё проблеме."
+}
@@ -0,0 +1,19 @@
+record_number,source_header,source_values,reasons
+70,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""3"", ""2024-03-27"", ""Электроника"", ""2"", ""3883.24""]","[""Конфликт order_id""]"
+195,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""15"", ""2024-03-31"", ""Книги"", ""три"", ""364.67""]","[""quantity: ожидается положительное целое число""]"
+232,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""10"", ""03/15/2024"", ""Книги"", ""7"", ""535.88""]","[""order_date: ожидается YYYY-MM-DD или DD.MM.YYYY""]"
+248,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""3"", ""2024-03-27"", ""Электроника"", ""3"", ""3883.24""]","[""Конфликт order_id""]"
+298,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""13"", ""2024-02-18"", ""Электроника"", ""0"", ""413.14""]","[""quantity: значение должно быть больше нуля""]"
+434,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""19"", ""2024-03-26"", ""Книги"", ""3"", ""12.340""]","[""unit_price: больше двух дробных знаков""]"
+506,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","["""", ""2024-03-16"", ""Книги"", ""1"", ""2212.09""]","[""order_id: пропущено обязательное значение""]"
+526,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""17"", ""2024-02-18"", ""Спорт"", ""6"", ""-12.50""]","[""unit_price: ожидается положительная десятичная цена в рублях""]"
+561,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""9"", ""2024-02-30"", ""Товары для дома"", ""4"", ""1456.85""]","[""order_date: несуществующая календарная дата""]"
+707,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""16"", ""2024-02-07"", ""Товары для дома"", ""2"", ""0""]","[""unit_price: цена должна быть больше нуля""]"
+740,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""5"", """", ""Товары для дома"", ""1"", ""1146.30""]","[""order_date: пропущено обязательное значение""]"
+864,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""12"", ""2024-01-06"", ""Спорт"", ""1.5"", ""3825.90""]","[""quantity: ожидается положительное целое число""]"
+885,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""2"", ""2024-02-01"", ""Товары для дома"", ""2"", ""1170.27""]","[""Нормализованный дубль""]"
+1004,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""7"", ""2024-01-29"", ""Электроника"", """", ""2355.15""]","[""quantity: пропущено обязательное значение""]"
+1028,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""8"", ""2024-01-01"", ""Товары для дома"", ""7"", """"]","[""unit_price: пропущено обязательное значение""]"
+1243,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""18"", ""2024-01-21"", ""Одежда"", ""4"", ""бесплатно""]","[""unit_price: ожидается положительная десятичная цена в рублях""]"
+1420,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""14"", ""2024-03-21"", ""Одежда"", ""-2"", ""3242.83""]","[""quantity: ожидается положительное целое число""]"
+1428,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""1"", ""2024-03-22"", ""Книги"", ""5"", ""583.70""]","[""Точный дубль""]"
@@ -0,0 +1,25 @@
+CREATE TABLE IF NOT EXISTS orders (
+    order_id INTEGER PRIMARY KEY NOT NULL CHECK (typeof(order_id) = 'integer' AND order_id > 0),
+    order_date TEXT NOT NULL CHECK (
+        length(order_date) = 10 AND order_date >= '0001-01-01'
+        AND order_date IS date(order_date, '+0 days')
+    ),
+    category TEXT NOT NULL CHECK (typeof(category) = 'text' AND length(trim(category)) > 0),
+    quantity INTEGER NOT NULL CHECK (typeof(quantity) = 'integer' AND quantity > 0),
+    unit_price_kopecks INTEGER NOT NULL CHECK (typeof(unit_price_kopecks) = 'integer' AND unit_price_kopecks > 0),
+    revenue_kopecks INTEGER NOT NULL CHECK (
+        typeof(revenue_kopecks) = 'integer' AND revenue_kopecks > 0
+        AND revenue_kopecks = quantity * unit_price_kopecks
+    )
+) WITHOUT ROWID;
+
+CREATE TABLE IF NOT EXISTS daily_category_revenue (
+    order_date TEXT NOT NULL CHECK (
+        length(order_date) = 10 AND order_date >= '0001-01-01'
+        AND order_date IS date(order_date, '+0 days')
+    ),
+    category TEXT NOT NULL CHECK (typeof(category) = 'text' AND length(trim(category)) > 0),
+    order_count INTEGER NOT NULL CHECK (typeof(order_count) = 'integer' AND order_count > 0),
+    revenue_kopecks INTEGER NOT NULL CHECK (typeof(revenue_kopecks) = 'integer' AND revenue_kopecks > 0),
+    PRIMARY KEY (order_date, category)
+) WITHOUT ROWID;
@@ -0,0 +1,33 @@
+"""Полная транзакционная загрузка снимка заказов в SQLite."""
+
+import sqlite3
+from collections.abc import Iterable
+from contextlib import closing
+from pathlib import Path
+
+from .transform import Order
+
+SCHEMA = Path(__file__).resolve().parents[1] / "sql" / "schema.sql"
+
+
+def reload_database(path: Path, orders: Iterable[Order]) -> None:
+    schema = SCHEMA.read_text(encoding="utf-8")
+    path.parent.mkdir(parents=True, exist_ok=True)
+    with closing(sqlite3.connect(path, isolation_level=None)) as db, db:
+        # BEGIN внутри скрипта включает в транзакцию и создание таблиц.
+        db.executescript("BEGIN IMMEDIATE;\n" + schema)
+        db.execute("DELETE FROM daily_category_revenue")
+        db.execute("DELETE FROM orders")
+        db.executemany(
+            """INSERT INTO orders (order_id, order_date, category, quantity,
+                                   unit_price_kopecks, revenue_kopecks)
+               VALUES (?, ?, ?, ?, ?, ?)""",
+            ((o.order_id, o.order_date, o.category, o.quantity, o.unit_price_kopecks,
+              o.revenue_kopecks) for o in orders),
+        )
+        db.execute("""
+            INSERT INTO daily_category_revenue (order_date, category, order_count, revenue_kopecks)
+            SELECT order_date, category, COUNT(*), SUM(revenue_kopecks)
+            FROM orders
+            GROUP BY order_date, category
+        """)
@@ -5,8 +5,12 @@ from datetime import date, timedelta
 from pathlib import Path
 from random import Random

+if __package__:
+    from .extract import FIELDS
+else:  # Прямой запуск файла через python src/generate_data.py.
+    from extract import FIELDS
+
 OUTPUT_PATH = Path(__file__).resolve().parents[1] / "data" / "raw_orders.csv"
-FIELDS = ("order_id", "order_date", "category", "quantity", "unit_price")
 CATEGORIES = ("Книги", "Товары для дома", "Одежда", "Спорт", "Электроника")
 START_DATE = date(2024, 1, 1)
 END_DATE = date(2024, 3, 31)
@@ -0,0 +1,87 @@
+"""Статистика и экспорт уже обработанного снимка заказов."""
+
+import csv
+import json
+from collections import Counter
+from pathlib import Path
+from tempfile import TemporaryDirectory
+
+from .transform import Order, RejectedRecord
+
+OUTPUT_DIR = Path(__file__).resolve().parents[1] / "outputs"
+CLEAN_FIELDS = ("order_id", "order_date", "category", "quantity", "unit_price_kopecks", "revenue_kopecks")
+REJECTED_FIELDS = ("record_number", "source_header", "source_values", "reasons")
+
+
+def build_report(accepted: list[Order], rejected: list[RejectedRecord], source_count: int) -> dict:
+    """Проверить полноту результатов по числу записей, прочитанных из CSV."""
+    if len(accepted) + len(rejected) != source_count:
+        raise ValueError("Число исходных записей не равно сумме принятых и отброшенных")
+    numbers = {order.record_number for order in accepted}
+    numbers.update(row.source.record_number for row in rejected)
+    if numbers != set(range(1, source_count + 1)):
+        raise ValueError("Исходные номера записей должны покрывать весь снимок без повторов")
+
+    final_reasons = Counter()
+    problems = Counter()
+    for row in rejected:
+        if not row.reasons:
+            raise ValueError(f"У записи {row.source.record_number} отсутствует причина отбраковки")
+        final_reasons[row.reasons[0]] += 1
+        problems.update(set(row.reasons))
+
+    return {
+        "source_count": source_count,
+        "accepted_count": len(accepted),
+        "rejected_count": len(rejected),
+        "final_reason_counts": dict(sorted(final_reasons.items())),
+        "problem_counts": dict(sorted(problems.items())),
+        "accepted_share": len(accepted) / source_count if source_count else None,
+        "counting_note": (
+            "Итоговая причина — первая в порядке проверок. Каждая отброшенная запись "
+            "учтена по ней один раз. Счётчики проблем пересекаются: запись учитывается "
+            "один раз по каждой обнаруженной у неё проблеме."
+        ),
+    }
+
+
+def save_outputs(
+    accepted: list[Order], rejected: list[RejectedRecord], source_count: int,
+    output_dir: Path = OUTPUT_DIR,
+) -> None:
+    """В собранном пайплайне вызывать после успешного завершения транзакции БД."""
+    report = build_report(accepted, rejected, source_count)
+    save_reports(accepted, rejected, report, output_dir)
+
+
+def save_reports(
+    accepted: list[Order], rejected: list[RejectedRecord], report: dict,
+    output_dir: Path = OUTPUT_DIR,
+) -> None:
+    """Сохранить результаты со статистикой, проверенной до загрузки БД."""
+    output_dir.mkdir(parents=True, exist_ok=True)
+    with TemporaryDirectory(dir=output_dir) as staging:
+        directory = Path(staging)
+        clean = directory / "clean_orders.csv"
+        with clean.open("w", encoding="utf-8-sig", newline="") as output:
+            writer = csv.writer(output)
+            writer.writerow(CLEAN_FIELDS)
+            for order in sorted(accepted, key=lambda item: item.record_number):
+                writer.writerow([getattr(order, name) for name in CLEAN_FIELDS])
+
+        rejects = directory / "rejected_rows.csv"
+        with rejects.open("w", encoding="utf-8-sig", newline="") as output:
+            writer = csv.writer(output)
+            writer.writerow(REJECTED_FIELDS)
+            for row in sorted(rejected, key=lambda item: item.source.record_number):
+                writer.writerow((
+                    row.source.record_number,
+                    json.dumps(row.source.header, ensure_ascii=False),
+                    json.dumps(row.source.values, ensure_ascii=False),
+                    json.dumps(row.reasons, ensure_ascii=False),
+                ))
+
+        quality = directory / "quality_report.json"
+        quality.write_text(json.dumps(report, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
+        for path in (clean, rejects, quality):
+            path.replace(output_dir / path.name)
@@ -1,4 +1,5 @@
 import csv
+from pathlib import Path

 import pytest

@@ -116,3 +117,62 @@ def test_missing_or_damaged_file(tmp_path):
    path.write_text(",".join(FIELDS) + '\n1,2024-02-29,"незакрытое поле', encoding="utf-8")
    with pytest.raises(CSVFileError, match="ошибка структуры CSV"):
        clean_orders(read_records(path))
+
+
+def test_invalid_utf8(tmp_path):
+    path = tmp_path / "orders.csv"
+    path.write_bytes(",".join(FIELDS).encode() + b"\n1,2024-01-01,\xff,1,1\n")
+    with pytest.raises(CSVFileError, match="UTF-8") as error:
+        list(read_records(path))
+    assert str(path) in str(error.value)
+
+
+def test_access_denied(tmp_path, monkeypatch):
+    path = tmp_path / "private.csv"
+
+    def deny_access(self, *args, **kwargs):
+        raise PermissionError("access denied")
+
+    monkeypatch.setattr(Path, "open", deny_access)
+    with pytest.raises(CSVFileError, match="ошибка чтения") as error:
+        list(read_records(path))
+    assert str(path) in str(error.value)
+    assert isinstance(error.value.__cause__, PermissionError)
+
+
+def test_logical_record_numbers_across_multiline_field(tmp_path):
+    path = tmp_path / "orders.csv"
+    path.write_bytes((",".join(FIELDS) + '\r\n1,2024-02-29,"дом,\r\nсад",1,10\r\n'
+                      '\r\n2,2024-03-01,книги,2,3\r\n').encode())
+    records = list(read_records(path))
+    assert [r.record_number for r in records] == [1, 2, 3]
+    assert records[0].values[2] == "дом,\r\nсад"
+    assert records[1].structure_error == "Пустая запись CSV"
+    assert records[2].values[0] == "2"
+
+
+def test_order_and_reasons_across_processing_stages(tmp_path):
+    conflict = order(order_id="9")
+    bad = order(quantity="-1", unit_price="0.001")
+    accepted, rejected = process(
+        tmp_path, conflict, order(order_id="8"), bad, conflict,
+        conflict | {"order_date": "29.02.2024"}, order(), bad,
+        conflict | {"quantity": "2"}, order(order_id="08"),
+    )
+    assert [(o.record_number, o.order_id) for o in accepted] == [(2, 8), (6, 1)]
+    assert [(r.source.record_number, r.reasons) for r in rejected] == [
+        (1, ["Конфликт order_id"]),
+        (3, ["quantity: ожидается положительное целое число", "unit_price: больше двух дробных знаков"]),
+        (4, ["Точный дубль"]),
+        (5, ["Конфликт order_id"]),
+        (7, ["Точный дубль"]),
+        (8, ["Конфликт order_id"]),
+        (9, ["Нормализованный дубль"]),
+    ]
+
+
+def test_large_price_preserves_last_kopeck(tmp_path):
+    accepted, rejected = process(tmp_path, order(unit_price="90071992547409,93", quantity="3"))
+    assert not rejected
+    assert accepted[0].unit_price_kopecks == 9_007_199_254_740_993
+    assert accepted[0].revenue_kopecks == 27_021_597_764_222_979
@@ -1,4 +1,6 @@
 import csv
+from collections import defaultdict
+from datetime import date, datetime

 from src.generate_data import generate_data

@@ -18,3 +20,36 @@ def test_repeated_generation_is_byte_identical(tmp_path):
    first_run = path.read_bytes()
    generate_data(path)
    assert path.read_bytes() == first_run
+
+
+def test_planned_examples_are_present_in_generated_csv(tmp_path):
+    path = tmp_path / "orders.csv"
+    generate_data(path)
+    with path.open(encoding="utf-8", newline="") as source:
+        rows = list(csv.DictReader(source))
+
+    expected_values = {
+        "order_id": {""},
+        "order_date": {"", "2024-02-30", "03/15/2024"},
+        "category": {"", "  тОВАРЫ   для  ДОМА  "},
+        "quantity": {"", "1.5", "0", "-2", "три"},
+        "unit_price": {"", "0", "-12.50", "бесплатно", "12.340", "12,50"},
+    }
+    for field, expected in expected_values.items():
+        assert expected <= {row[field] for row in rows}, field
+
+    by_id = defaultdict(list)
+    for row in rows:
+        by_id[row["order_id"]].append(row)
+    first, repeat = by_id["1"]
+    assert first == repeat
+
+    iso, local = sorted(by_id["2"], key=lambda row: "." in row["order_date"])
+    assert date.fromisoformat(iso["order_date"]) == datetime.strptime(
+        local["order_date"], "%d.%m.%Y"
+    ).date()
+    assert iso == local | {"order_date": iso["order_date"]}
+
+    first, conflict = by_id["3"]
+    assert int(first["quantity"]) != int(conflict["quantity"])
+    assert first == conflict | {"quantity": first["quantity"]}
@@ -0,0 +1,130 @@
+import csv
+import json
+import os
+from pathlib import Path
+import shutil
+import sqlite3
+import subprocess
+import sys
+from contextlib import closing
+
+import pytest
+
+from src.extract import FIELDS
+
+ROOT = Path(__file__).resolve().parents[1]
+ROWS = [
+    (8, "2024-01-01", "Книги", 2, "10,25"),
+    (3, "01.01.2024", " книги ", 1, "0.50"),
+    (5, "2024-01-01", "Дом", 3, "1"),
+    (2, "2024-01-02", "Книги", 1, "5"),
+    (1, "2024-01-02", "Дом", 0, "2"),
+]
+
+
+def write_input(project, rows):
+    with (project / "data/raw_orders.csv").open("w", encoding="utf-8", newline="") as out:
+        writer = csv.writer(out)
+        writer.writerow(FIELDS)
+        writer.writerows(rows)
+
+
+@pytest.fixture
+def project(tmp_path):
+    folder = tmp_path / "project"
+    (folder / "data").mkdir(parents=True)
+    shutil.copy(ROOT / "main.py", folder)
+    shutil.copytree(ROOT / "sql", folder / "sql")
+    shutil.copytree(ROOT / "src", folder / "src", ignore=shutil.ignore_patterns("__pycache__"))
+    write_input(folder, ROWS)
+    return folder
+
+
+def run(project, *, success=True):
+    result = subprocess.run(
+        [sys.executable, str(project / "main.py")], cwd=project.parent,
+        env={**os.environ, "PYTHONIOENCODING": "utf-8"}, capture_output=True, encoding="utf-8",
+    )
+    if success:
+        assert result.returncode == 0, result.stderr
+    else:
+        assert result.returncode != 0
+        assert not result.stdout
+    return result
+
+
+def snapshot(project):
+    with closing(sqlite3.connect(project / "outputs/orders.db")) as db:
+        orders = db.execute("SELECT * FROM orders ORDER BY order_id").fetchall()
+        daily = db.execute("SELECT * FROM daily_category_revenue ORDER BY order_date, category").fetchall()
+    return orders, daily
+
+
+def test_full_run_and_repeat(project):
+    run(project)
+    orders, daily = snapshot(project)
+    assert len(orders) == 4
+    assert daily == [
+        ("2024-01-01", "Дом", 1, 300), ("2024-01-01", "Книги", 2, 2100),
+        ("2024-01-02", "Книги", 1, 500),
+    ]
+    for day, category, count, revenue in daily:
+        amounts = [row[5] for row in orders if (row[1], row[2]) == (day, category)]
+        assert (len(amounts), sum(amounts)) == (count, revenue)
+
+    outputs = project / "outputs"
+    with (outputs / "clean_orders.csv").open(encoding="utf-8-sig", newline="") as source:
+        clean = list(csv.DictReader(source))
+    assert sorted((int(r["order_id"]), r["order_date"], r["category"], int(r["quantity"]),
+                   int(r["unit_price_kopecks"]), int(r["revenue_kopecks"])) for r in clean) == orders
+    with (outputs / "rejected_rows.csv").open(encoding="utf-8-sig", newline="") as source:
+        assert [r["record_number"] for r in csv.DictReader(source)] == ["5"]
+    report = json.loads((outputs / "quality_report.json").read_text(encoding="utf-8"))
+    assert (report["source_count"], report["accepted_count"], report["rejected_count"]) == (5, 4, 1)
+    run(project)
+    assert snapshot(project) == (orders, daily)
+
+
+def test_aggregate_overflow_rolls_back_both_tables(project):
+    run(project)
+    before = snapshot(project)
+    write_input(project, [
+        (99, "2025-01-01", "Дом", 1, "92233720368547758.07"),
+        (100, "2025-01-01", "Дом", 1, "0.01"),
+    ])
+    assert "integer overflow" in run(project, success=False).stderr
+    assert snapshot(project) == before
+    report = json.loads((project / "outputs/quality_report.json").read_text(encoding="utf-8"))
+    assert report["source_count"] == len(ROWS)
+
+
+def test_damaged_input_preserves_database(project):
+    run(project)
+    before = snapshot(project)
+    with (project / "data/raw_orders.csv").open("a", encoding="utf-8") as out:
+        out.write('123,2024-01-20,"незакрытое поле')
+    assert "ошибка структуры CSV" in run(project, success=False).stderr
+    assert snapshot(project) == before
+
+
+def test_no_accepted_orders_clears_both_tables(project):
+    run(project)
+    write_input(project, [ROWS[-1]])
+    run(project)
+    assert snapshot(project) == ([], [])
+    report = json.loads((project / "outputs/quality_report.json").read_text(encoding="utf-8"))
+    assert report["rejected_count"] == 1
+
+
+def test_export_error_after_commit(project):
+    run(project)
+    write_input(project, [ROWS[2]])
+    blocked = project / "outputs/clean_orders.csv"
+    blocked.unlink()
+    blocked.mkdir()
+    result = run(project, success=False)
+    assert "База уже обновлена" in result.stderr
+    assert "clean_orders.csv" in result.stderr
+    assert snapshot(project) == (
+        [(5, "2024-01-01", "Дом", 3, 100, 300)], [("2024-01-01", "Дом", 1, 300)]
+    )
@@ -0,0 +1,80 @@
+import codecs
+import csv
+import json
+
+import pytest
+
+from src.extract import FIELDS, read_records
+from src.quality import build_report, save_outputs
+from src.transform import clean_orders
+
+
+def read_csv(path):
+    assert path.read_bytes().startswith(codecs.BOM_UTF8)
+    with path.open(encoding="utf-8-sig", newline="") as source:
+        return list(csv.reader(source))
+
+
+def test_export_and_replace_snapshot(tmp_path):
+    path = tmp_path / "raw.csv"
+    header = ("category", "order_id", "quantity", "order_date", "unit_price")
+    bad = ['дом, "сад"\nспорт', "2", "", "?", "0"]
+    good = [" КНИГИ ", "7", "3", "29.02.2024", "0,07"]
+    extra = good + ["лишнее"]
+    rows = [good, bad, bad, extra, [], ["", "4", "1", "2024-01-01", "10"]]
+    with path.open("w", encoding="utf-8", newline="") as output:
+        writer = csv.writer(output)
+        writer.writerow(header)
+        writer.writerows(rows)
+    records = list(read_records(path))
+    accepted, rejected = clean_orders(records)
+    directory = tmp_path / "outputs"
+    save_outputs(accepted[::-1], rejected[::-1], len(records), directory)
+    clean = directory / "clean_orders.csv"
+    rejects = directory / "rejected_rows.csv"
+    report_file = directory / "quality_report.json"
+    clean_header = ["order_id", "order_date", "category", "quantity", "unit_price_kopecks", "revenue_kopecks"]
+    reject_header = ["record_number", "source_header", "source_values", "reasons"]
+    assert read_csv(clean) == [
+        clean_header, ["7", "2024-02-29", "Книги", "3", "7", "21"],
+        ["4", "2024-01-01", "Не указана", "1", "1000", "1000"],
+    ]
+    columns, *exported = read_csv(rejects)
+    assert columns == reject_header
+    assert [int(row[0]) for row in exported] == [2, 3, 4, 5]
+    for row, rejection in zip(exported, rejected, strict=True):
+        assert json.loads(row[1]) == list(header)
+        assert json.loads(row[2]) == rows[int(row[0]) - 1]
+        assert json.loads(row[3]) == rejection.reasons
+
+    report = json.loads(report_file.read_text(encoding="utf-8"))
+    assert (report["source_count"], report["accepted_count"], report["rejected_count"]) == (6, 2, 4)
+    assert report["accepted_share"] == 2 / 6
+    assert report["final_reason_counts"] == {
+        "order_date: ожидается YYYY-MM-DD или DD.MM.YYYY": 1, "Точный дубль": 1,
+        "Число полей: ожидалось 5, получено 6": 1, "Пустая запись CSV": 1,
+    }
+    assert report["problem_counts"] == report["final_reason_counts"] | {
+        "quantity: пропущено обязательное значение": 1, "unit_price: цена должна быть больше нуля": 1,
+    }
+    before = {file: file.read_bytes() for file in directory.iterdir()}
+    save_outputs(accepted, rejected, len(records), directory)
+    assert before == {file: file.read_bytes() for file in directory.iterdir()}
+
+    save_outputs([], [], 0, directory)
+    assert read_csv(clean) == [clean_header]
+    assert read_csv(rejects) == [reject_header]
+    report = json.loads(report_file.read_text(encoding="utf-8"))
+    assert report["accepted_share"] is None
+    assert report["source_count"] == report["accepted_count"] == report["rejected_count"] == 0
+    assert report["final_reason_counts"] == report["problem_counts"] == {}
+
+
+def test_invalid_accounting(tmp_path):
+    source = tmp_path / "raw.csv"
+    source.write_text(",".join(FIELDS) + "\n1,2024-01-01,x,1,1\n", encoding="utf-8")
+    accepted, rejected = clean_orders(read_records(source))
+    with pytest.raises(ValueError, match="сумме"):
+        build_report(accepted, rejected, 2)
+    with pytest.raises(ValueError, match="без повторов"):
+        build_report(accepted * 2, rejected, 2)