описание
Навыки: Python, SQL, Apache Spark, Apache Airflow, ClickHouse. Квалификация: Lead. Специализации: Разработчик баз данных.
Представь себе: ты попадаешь в команду, которая буквально строит будущее огромного ритейла — «Магнит»! Мы не просто тасуем данные, мы автоматизируем 45 распределительных центров, прогнозируем спрос так, что кажется, будто читаем будущее, и создаём продукты, которые делают жизнь клиентов проще и удобнее.
Наше Корпоративное Хранилище Данных — одно из крупнейших в России. Мы храним и обрабатываем более 1 ПБ данных! 200 источников информации, каждый из которых важен для бизнеса, и это число растет каждый день. Но вот самое интересное: нас ждет большая миграция в облако — да, да, мы первые в России, кто с такими объемами пойдет в облачные технологии!
**Чем ты будешь заниматься**
- Участвовать в миграции Хранилища данных на новые технологии, используя наш фреймворк;
- Управлять командой разработки от 3 человек;
- Оценивать, планировать и согласовывать работы с заказчиком и командой аналитики;
- Нанимать, онбордить и развивать свою команду;
- Участвовать в подготовке предложений по доработкам фреймворка и инструментов;
- Создавать новые и развивать старые интеграции по загрузке сырых данных в DataLake;
- Разрабатывать pipline'ов доставки и обработки данных в детальный слой и витрины данных;
- Писать и оптимизировать сложные скрипты обработки данных;
- Прорабатывать локальные архитектурные решения.
**Стек технологий:** Impala, Trino, S3, Iceberg, Spark, AirFlow, OMD, Python, GitLab, ClickHouse.
**Мы ожидаем**
- Опыт в разработке хранилищ данных — минимум 4 года;
- Управление командой от трех человек более 1 года;
- Мастерство написания SQL-кода и работы с реляционными БД на экспертном уровне;
- Опыт разработки разнообразных pipline'ов доставки и обработки данных;
- Понимание типовых паттернов технических решений в области ETL/ELT-процессов и алгоритмов.
**Мы предлагаем**
- Официальное трудоустройство в аккредитованную ИТ-компанию (документы на месте, не волнуйся!).
- Свобода выбора: работай удалённо, гибридно или в одном из офисов (Москва, Краснодар, Иннополис).
- Прозрачные цели и здравые процессы. Мы ценим время и мозги.
- Возможности роста: оплачиваем обучение, отправляем на конференции и даже помогаем освоить новые направления.
- Медицинское страхование и льготы для всей семьи.
- И еще — корпоративные скидки от наших крутых партнеров!
В общем, если ты ищешь не просто работу, а возможность вписаться в историю с большими данными и большими вызовами, то тебе точно к нам!
