Корреляция — не причинность.

Мороженое и утопления коррелируют. Чем больше продаётся мороженого — тем больше людей тонет. Запретить мороженое? Абсурд. Жара вызывает и то, и другое. Это конфаундер — смешивающая переменная.

Корреляция говорит: X и Y движутся вместе. Причинность говорит: изменение X вызывает изменение Y. Это фундаментально разные утверждения. И большинство данных в бизнесе — наблюдательные. Мы не контролируем, кто что делает.

Рандомизированный эксперимент устраняет все конфаундеры. Случайное назначение в группы делает их сопоставимыми «в среднем». Разница в исходах = причинный эффект.

Но A/B-тест не всегда возможен. Нельзя рандомизировать курение для изучения рака. Нельзя рандомизировать цены, если конкуренты видят эксперимент. Нельзя рандомизировать страны для изучения политик. Тогда — квазиэксперименты.

Идея: есть группа, которая получила «лечение» (treatment), и группа, которая не получила (control). До и после.

Классика: Card и Krueger (1994). Нью-Джерси поднял минимальную зарплату — Пенсильвания не подняла. Занятость в фастфуде в NJ vs PA до и после. Вывод: повышение минимальной зарплаты не снизило занятость. Нобелевская премия Дэвиду Карду — 20211.

Ключевое допущение DiD — параллельные тренды. В отсутствие treatment группы двигались бы параллельно. Это непроверяемо прямо — но проверяется на исторических данных.

Большие данные — это большая возможность найти большие корреляции и сделать большие причинные ошибки. — Гэри Кинг, Гарвард

Нужна переменная Z, которая (1) влияет на X (relevance), (2) влияет на Y только через X (exclusion restriction), (3) не коррелирует с конфаундерами (exogeneity).

Пример: влияние образования на доход. Проблема: умные люди и больше учатся, и больше зарабатывают. Инструмент — квартал рождения (Angrist, Krueger 1991)2. Дети, рождённые в начале года, идут в школу позже и получают меньше образования из-за законов об обязательном посещении. Квартал рождения влияет на образование, но не на доход напрямую. Двухшаговый МНК (2SLS): первый шаг — предсказать X через Z, второй — регрессия Y на предсказанный X.

Если назначение в treatment определяется порогом — вблизи порога treatment и control почти идентичны. Студенты с GPA ≥ 3.5 получают стипендию. Студент с 3.49 и 3.51 — практически одинаковые. Разница в исходах вблизи порога = причинный эффект стипендии.

В tech: пользователи, которые ровно перешли порог активности и получили уведомление, vs те, кто не перешёл. Новые пользователи, попавшие в когорту с новым onboarding по дате регистрации.

Для единичных случаев. Одна страна, один регион принял политику. Нет контрольной группы. Строим «синтетическую» контрольную — взвешенную комбинацию других регионов, которая воспроизводит тренды treatment до интервенции. После — смотрим расхождение. Abadie, Diamond, Hainmueller (2010)3.

DAG (directed acyclic graph) — формальный язык для записи причинных предположений. Узлы — переменные. Рёбра — причинные связи. DAG показывает, что нужно контролировать (backdoor paths), что нельзя контролировать (collider bias), какой инструмент подходит. Джудеа Перл — «Книга почему» (2018)4.

В продуктовой аналитике это значит: не доверять наблюдательным корреляциям без каузальной модели. «Пользователи, которые используют фичу X, удерживаются лучше» — может быть потому, что хорошие пользователи и используют X, и удерживаются. Нужен эксперимент или квазиэксперимент.