Surrika

Поиск дублей в рекламных данных по кампаниям

Дубль в рекламной выгрузке это лишняя строка с тем же днем, источником, кампанией и категорией. Проверка сводится к сравнению числа строк с числом уникальных сочетаний этих полей. Разница показывает, в каких кампаниях данные задвоились и насколько сильно.

Отчеты и данные

Как считать

  1. Собираем рекламные строки за последний квартал по всем источникам: Директ, VK, продвижение на маркетплейсах.
  2. Складываем в ключ день, источник, кампанию и категорию и считаем, сколько строк приходится на каждый ключ.
  3. Из общего числа строк вычитаем число ключей и получаем количество лишних строк.
  4. Делим лишние строки на общее число строк и получаем долю дублей по каждой кампании.
  5. Сортируем кампании по числу лишних строк и проверяем верх списка вручную.

Расчет на выгрузках магазина

Пример посчитан на выгрузках вымышленного мебельного магазина: продажи сайта и трех маркетплейсов, реклама, сделки CRM и остатки за 2024-2025 годы.

Мы склеиваем выгрузки из Директа, VK и кабинетов маркетплейсов, и в сводной появляются повторные строки. Как проверить, в каких кампаниях задвоились показы и расход?

Лишние строки в данных по кампаниям за последний квартал

SQL, по которому посчитано

WITH base AS (
    SELECT source, campaign, date, category
    FROM ads
    WHERE date >= (SELECT date_trunc('quarter', max(date)) FROM ads)
),
per_key AS (
    SELECT source, campaign, date, category, count(*) AS rows_cnt
    FROM base
    GROUP BY source, campaign, date, category
)
SELECT source || ' / ' || campaign AS campaign_key,
       count(*) AS key_count,
       sum(rows_cnt) AS row_count,
       sum(rows_cnt) - count(*) AS duplicate_rows,
       round((sum(rows_cnt) - count(*)) / sum(rows_cnt), 3) AS duplicate_share
FROM per_key
GROUP BY source, campaign
ORDER BY duplicate_rows DESC, row_count DESC
LIMIT 30

Откуда в рекламных данных появляются дубли

Повторные строки приходят из повторной загрузки одного и того же файла, из склейки нескольких выгрузок и из ручного переноса цифр в сводную. Отдельная причина это разная детализация отчетов. Кабинет отдает кампанию одной строкой за день, а внутренняя таблица хранит те же дни с разбивкой по категориям. После склейки расход и показы складываются дважды. Сверьте число строк в сводной с числом строк в исходных файлах до того, как считать стоимость заказа.

Как проверить повторы в кампаниях и не удалить верные строки

Одна кампания на маркетплейсе часто продвигает несколько категорий, и кабинет отдает за день по строке на каждую. Если искать повторы по дню и названию кампании, вы примете такие строки за дубли и выбросите настоящие данные. Повтором считается только запись, которая совпадает с другой по всем полям ключа. Проверка по категории и источнику сразу снимает большую часть ложных срабатываний.

Что будет с расходом, если дубли остались в сводной

Каждая лишняя строка прибавляет показы, клики и расход, поэтому стоимость заказа и доля рекламных расходов в выручке растут без всякой причины. План по бюджету тоже перестает сходиться, если факт считают по задвоенной сводной. Убирайте повторы в построчной выгрузке, до любого суммирования. После чистки сверьте итог за период с отчетом кабинета и найдите дни, где числа расходятся.

Где взять выгрузки для проверки дублей в рекламных данных

Расход, показы и заказы берите в кабинетах Яндекс Директа и VK Рекламы, продвижение на маркетплейсах в кабинетах Wildberries и Ozon. Сохраняйте в файле все поля, по которым кабинет разбивает строки, иначе сопоставить записи не получится. Один файл должен закрывать один период без пересечений с соседним. Перед склейкой сравните последний день прошлого файла и первый день нового.

Частые ошибки

Строка итога в выгрузке

Кабинеты добавляют в конец файла строку с суммой за период, и она складывается с обычными днями. Удаляйте записи без даты и служебные итоги перед проверкой, иначе расход вырастет на всю сумму периода.

Сравнение сумм до копейки

Если требовать полного совпадения расхода и комиссии, дубль с пересчитанным округлением останется незамеченным. Сравнивайте строки по составному ключу, а суммы проверяйте с допуском на округление.

Вопросы

Как часто проверять рекламные данные на дубли?

Перед каждой склейкой выгрузок и перед закрытием месяца. Если файлы загружаются по расписанию, проверку ставят в начало обработки, а не после построения отчетов.

Что делать, если повторы нашлись только у одного источника?

Править выгрузку этого источника, остальные не трогать. Если повторы появляются каждый раз, добавьте проверку в регламент загрузки.

Нужно ли проверять дубли в продажах и сделках?

Тот же принцип работает для продаж по дням и артикулам и для сделок из CRM. Ключ подбирают под таблицу, например день, канал и артикул.

Посчитайте это на своих выгрузках

Бросьте выгрузки на доску Surrika и задайте вопрос обычными словами. Ответ придет графиком, а под ним будет SQL, по которому он посчитан.

14 дней бесплатно, карта не нужна.

По теме

Все задачи