Этап: SQLite и запуск пайплайна

This commit is contained in:
vladslav064 committed 2026-11-12 08:43:34 +03:00
1 parent 626ac21b41
commit d90f1f30b2
15 files changed
+2069 -6

No files matched your search

File diff suppressed because it is too large. Load diff
BIN
View File
Binary file not shown.
+39
View File
@@ -0,0 +1,39 @@
{
"source_count": 1500,
"accepted_count": 1482,
"rejected_count": 18,
"final_reason_counts": {
"order_date: несуществующая календарная дата": 1,
"order_date: ожидается YYYY-MM-DD или DD.MM.YYYY": 1,
"order_date: пропущено обязательное значение": 1,
"order_id: пропущено обязательное значение": 1,
"quantity: значение должно быть больше нуля": 1,
"quantity: ожидается положительное целое число": 3,
"quantity: пропущено обязательное значение": 1,
"unit_price: больше двух дробных знаков": 1,
"unit_price: ожидается положительная десятичная цена в рублях": 2,
"unit_price: пропущено обязательное значение": 1,
"unit_price: цена должна быть больше нуля": 1,
"Конфликт order_id": 2,
"Нормализованный дубль": 1,
"Точный дубль": 1
},
"problem_counts": {
"order_date: несуществующая календарная дата": 1,
"order_date: ожидается YYYY-MM-DD или DD.MM.YYYY": 1,
"order_date: пропущено обязательное значение": 1,
"order_id: пропущено обязательное значение": 1,
"quantity: значение должно быть больше нуля": 1,
"quantity: ожидается положительное целое число": 3,
"quantity: пропущено обязательное значение": 1,
"unit_price: больше двух дробных знаков": 1,
"unit_price: ожидается положительная десятичная цена в рублях": 2,
"unit_price: пропущено обязательное значение": 1,
"unit_price: цена должна быть больше нуля": 1,
"Конфликт order_id": 2,
"Нормализованный дубль": 1,
"Точный дубль": 1
},
"accepted_share": 0.988,
"counting_note": "Итоговая причина — первая в порядке проверок. Каждая отброшенная запись учтена по ней один раз. Счётчики проблем пересекаются: запись учитывается один раз по каждой обнаруженной у неё проблеме."
}
+19
View File
@@ -0,0 +1,19 @@
record_number,source_header,source_values,reasons
70,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""3"", ""2024-03-27"", ""Электроника"", ""2"", ""3883.24""]","[""Конфликт order_id""]"
195,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""15"", ""2024-03-31"", ""Книги"", ""три"", ""364.67""]","[""quantity: ожидается положительное целое число""]"
232,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""10"", ""03/15/2024"", ""Книги"", ""7"", ""535.88""]","[""order_date: ожидается YYYY-MM-DD или DD.MM.YYYY""]"
248,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""3"", ""2024-03-27"", ""Электроника"", ""3"", ""3883.24""]","[""Конфликт order_id""]"
298,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""13"", ""2024-02-18"", ""Электроника"", ""0"", ""413.14""]","[""quantity: значение должно быть больше нуля""]"
434,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""19"", ""2024-03-26"", ""Книги"", ""3"", ""12.340""]","[""unit_price: больше двух дробных знаков""]"
506,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","["""", ""2024-03-16"", ""Книги"", ""1"", ""2212.09""]","[""order_id: пропущено обязательное значение""]"
526,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""17"", ""2024-02-18"", ""Спорт"", ""6"", ""-12.50""]","[""unit_price: ожидается положительная десятичная цена в рублях""]"
561,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""9"", ""2024-02-30"", ""Товары для дома"", ""4"", ""1456.85""]","[""order_date: несуществующая календарная дата""]"
707,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""16"", ""2024-02-07"", ""Товары для дома"", ""2"", ""0""]","[""unit_price: цена должна быть больше нуля""]"
740,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""5"", """", ""Товары для дома"", ""1"", ""1146.30""]","[""order_date: пропущено обязательное значение""]"
864,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""12"", ""2024-01-06"", ""Спорт"", ""1.5"", ""3825.90""]","[""quantity: ожидается положительное целое число""]"
885,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""2"", ""2024-02-01"", ""Товары для дома"", ""2"", ""1170.27""]","[""Нормализованный дубль""]"
1004,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""7"", ""2024-01-29"", ""Электроника"", """", ""2355.15""]","[""quantity: пропущено обязательное значение""]"
1028,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""8"", ""2024-01-01"", ""Товары для дома"", ""7"", """"]","[""unit_price: пропущено обязательное значение""]"
1243,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""18"", ""2024-01-21"", ""Одежда"", ""4"", ""бесплатно""]","[""unit_price: ожидается положительная десятичная цена в рублях""]"
1420,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""14"", ""2024-03-21"", ""Одежда"", ""-2"", ""3242.83""]","[""quantity: ожидается положительное целое число""]"
1428,"[""order_id"", ""order_date"", ""category"", ""quantity"", ""unit_price""]","[""1"", ""2024-03-22"", ""Книги"", ""5"", ""583.70""]","[""Точный дубль""]"
1 record_number source_header source_values reasons
2 70 ["order_id", "order_date", "category", "quantity", "unit_price"] ["3", "2024-03-27", "Электроника", "2", "3883.24"] ["Конфликт order_id"]
3 195 ["order_id", "order_date", "category", "quantity", "unit_price"] ["15", "2024-03-31", "Книги", "три", "364.67"] ["quantity: ожидается положительное целое число"]
4 232 ["order_id", "order_date", "category", "quantity", "unit_price"] ["10", "03/15/2024", "Книги", "7", "535.88"] ["order_date: ожидается YYYY-MM-DD или DD.MM.YYYY"]
5 248 ["order_id", "order_date", "category", "quantity", "unit_price"] ["3", "2024-03-27", "Электроника", "3", "3883.24"] ["Конфликт order_id"]
6 298 ["order_id", "order_date", "category", "quantity", "unit_price"] ["13", "2024-02-18", "Электроника", "0", "413.14"] ["quantity: значение должно быть больше нуля"]
7 434 ["order_id", "order_date", "category", "quantity", "unit_price"] ["19", "2024-03-26", "Книги", "3", "12.340"] ["unit_price: больше двух дробных знаков"]
8 506 ["order_id", "order_date", "category", "quantity", "unit_price"] ["", "2024-03-16", "Книги", "1", "2212.09"] ["order_id: пропущено обязательное значение"]
9 526 ["order_id", "order_date", "category", "quantity", "unit_price"] ["17", "2024-02-18", "Спорт", "6", "-12.50"] ["unit_price: ожидается положительная десятичная цена в рублях"]
10 561 ["order_id", "order_date", "category", "quantity", "unit_price"] ["9", "2024-02-30", "Товары для дома", "4", "1456.85"] ["order_date: несуществующая календарная дата"]
11 707 ["order_id", "order_date", "category", "quantity", "unit_price"] ["16", "2024-02-07", "Товары для дома", "2", "0"] ["unit_price: цена должна быть больше нуля"]
12 740 ["order_id", "order_date", "category", "quantity", "unit_price"] ["5", "", "Товары для дома", "1", "1146.30"] ["order_date: пропущено обязательное значение"]
13 864 ["order_id", "order_date", "category", "quantity", "unit_price"] ["12", "2024-01-06", "Спорт", "1.5", "3825.90"] ["quantity: ожидается положительное целое число"]
14 885 ["order_id", "order_date", "category", "quantity", "unit_price"] ["2", "2024-02-01", "Товары для дома", "2", "1170.27"] ["Нормализованный дубль"]
15 1004 ["order_id", "order_date", "category", "quantity", "unit_price"] ["7", "2024-01-29", "Электроника", "", "2355.15"] ["quantity: пропущено обязательное значение"]
16 1028 ["order_id", "order_date", "category", "quantity", "unit_price"] ["8", "2024-01-01", "Товары для дома", "7", ""] ["unit_price: пропущено обязательное значение"]
17 1243 ["order_id", "order_date", "category", "quantity", "unit_price"] ["18", "2024-01-21", "Одежда", "4", "бесплатно"] ["unit_price: ожидается положительная десятичная цена в рублях"]
18 1420 ["order_id", "order_date", "category", "quantity", "unit_price"] ["14", "2024-03-21", "Одежда", "-2", "3242.83"] ["quantity: ожидается положительное целое число"]
19 1428 ["order_id", "order_date", "category", "quantity", "unit_price"] ["1", "2024-03-22", "Книги", "5", "583.70"] ["Точный дубль"]