ML-инженер (прогнозирование спроса)

Что предстоит делать

Привет! Это команда "Анализ спроса", мы занимаемся прогнозированием спроса на десятки миллионов товаров для селлеров, которые продают товары на Ozon, что является уникальным направлением. Наш прогноз помогает селлерам планировать, какие товары и в какие склады по всей России нужно поставить. В частности вам предстоит заниматься предсказанием продаж товаров, которые никогда ранее не продавались на Ozon. У нашего продукта несколько бизнес-заказчиков и, соответственно, требования могут быть разными. Поэтому необходимо поддерживать продукт масштабируемым (бОльшая часть задач - production, меньшая - research). Основной вызов в нашей работе заключается в том, что у нас очень большое количество очень разных товаров, начиная от товаров повседневного спроса и заканчивая дорогой электроникой и одеждой, а также очень разные селлеры (как предприниматели-одиночки, так и крупные известные бренды). Также Ozon является растущим бизнесом, поэтому постоянно растет количество товаров, селлеров, география присутствия, и, соответсвенно, растет объем данных. Сейчас команда использует как алгоритмы классического машинного обучения на табличных данных, так и обученные на наших временных рядах, нейронные сети на архитектуре Transformer. Стек • Python, PySpark, JupyterHub, SQL, Airflow, Vertica, Kafka, ClickHouse, Grafana, Transformers. Вы будете • Прогнозировать спроса для товаров без истории продаж («новинок»): разрабатывать модели холодного старта на основе атрибутов товара, категории, характеристик продавца и информации об аналогах. • Разрабатывать модели классификации спроса для регулярно продающихся товаров: предсказание наличия продаж в горизонте прогнозирования (нулевой / ненулевой спрос). • Строить и поддерживать production-пайплайны для расчёта признаков, обучения и инференса моделей на больших объёмах данных. • Оценивать качество моделей и их влияния на бизнес-метрики совместно с заказчиками. Нам важно • Уверенное знание классических ML-алгоритмов: линейных моделей, деревьев решений и градиентного бустинга, а также практический опыт их применения в production. • Уверенное владение PySpark: обработка больших объёмов данных, оптимизация Spark-задач, понимание партиционирования, shuffle и особенностей распределённых вычислений. • Уверенное владение оконными функциями в Spark SQL / SQL: расчёт лагов, скользящих агрегатов и ранжирований при работе с временными рядами. • Опыт разработки и поддержки пайплайнов в Airflow. • Уверенное владение Python.