A/B Testing & Experiment Design

Product & Growth Analytics Portfolio

Портфолио по анализу данных с примерами дизайна A/B-экспериментов для продуктовых и маркетинговых задач в цифровых продуктах.

О репозитории

Репозиторий содержит примеры проектирования A/B-экспериментов для продуктовых и маркетинговых решений в цифровых продуктах.

Фокус сделан не на расчётах как самоцели, а на продуктовой логике экспериментов:

• формулировке бизнес- и продуктовых гипотез;
• выборе primary, secondary и guardrail-метрик;
• дизайне экспериментов с учётом ограничений продукта и данных;
• интерпретации результатов для принятия управленческих решений.

Проекты демонстрируют роль аналитика как участника продуктовых решений, а не только исполнителя расчётов.

Бизнес-контекст

В продуктовой и growth-аналитике A/B-тесты используются для:

• оценки влияния продуктовых изменений на ключевые метрики;
• снижения рисков при релизах;
• выбора наиболее эффективных маркетинговых каналов;
• проверки гипотез роста без деградации пользовательского опыта.

Проекты в репозитории показывают, как корректно применять эксперименты в реальных продуктовых сценариях.

Цель репозитория

Продемонстрировать навыки:

• проектирования A/B и A/B/n экспериментов;
• работы с продуктовой воронкой и пользовательским поведением;
• выбора корректных метрик, MDE и дизайна эксперимента;
• выявления ситуаций, когда запуск эксперимента требует дополнительных условий или доработки данных.

---

Проекты

№	Ссылка на проект	Отрасль бизнеса	Описание	Навыки и подходы, представленные в проектах	Презентация проекта
1	Supperapp: Marketplace Removal	Digital / Superapp / Mobility	Дизайн A/B/n-эксперимента для оценки влияния удаления маркетплейса из супераппа на вовлечённость пользователей в заказ такси. Проработка гипотез, primary и guardrail-метрик, рандомизации, утечки и вызревания метрик.	Product analytics, A/B/n testing, Experiment design, ITT, Guardrail metrics, Metric maturation, Stratification, CUPED	Презентация "Supperapp — влияние удаления маркетплейса"
2	Email vs Push Marketing Test	Marketing / CRM / Growth	Дизайн A/B/n (4-arm) эксперимента для сравнения эффективности email- и push-коммуникаций в привлечении новых клиентов. Выбор success- и guardrail-метрик, контроль побочных эффектов, обоснование серии тестов.	Growth analytics, A/B/n testing, CRM experimentation, uplift measurement, guardrail metrics, sequential testing	Презентация "Marketing — Email vs Push-коммуникации"
3	EdTech: Персонализация карусели курсов	EdTech / Online Education	Аналитический кейс по проектированию A/B-теста персонализированной карусели курсов «Вам понравится». Проведён exploratory analysis логов пользовательских событий, анализ пользовательской воронки и выявлены ключевые ограничения данных. На основе результатов EDA спроектирован дизайн эксперимента: обоснован выбор метрик и единицы рандомизации, оценена чувствительность теста (MDE), сформулированы допущения и ограничения по трафику и длительности.	Product analytics, funnel analysis, event logs, A/B testing, MDE, data-constrained experiment design	Презентация "A/B-тест персонализированной карусели курсов: проектирование эксперимента"

Ключевые продуктовые выводы

Проекты демонстрируют, что:

• не каждый продуктовый эксперимент имеет смысл запускать;
• корректный выбор метрик и дизайна важнее самого факта A/B-теста;
• guardrail-метрики защищают продукт от деградации;
• аналитик обязан учитывать ограничения трафика, данных и времени при принятии продуктовых решений.

Используемые инструменты и методы

• A/B и A/B/n testing
• Product & Growth analytics
• Funnel analysis
• Experiment design
• MDE и power analysis
• Работа с event-логами
• Статистические допущения и ограничения

Ограничения данных

Все кейсы основаны на реалистичных продуктовых сценариях.
Данные используются в учебных целях и не содержат конфиденциальной информации.

Автор

Svetlana Nasonkova
Data Analyst | Product & Experimentation Analytics
Telegram: https://t.me/SvetlNas