Data Engineering Lead / Tech Lead Data

Что предстоит делать

Мы динамичная и инновационная компания, занимаемся IT разработкой для международного холдинга, ведущего свою деятельность в странах Европы. Реализуем IT решения - высоконагруженную платформу, носящую развлекательный характер. Холдинг существует более 10 лет и обслуживает более 1,000,000 клиентов каждый год. Наша команда разрабатывает микросервисную платформу с большим количеством модулей: проведение платежей, антифрод-решения, программа лояльности, интеграция с партнерами и многое другое. Мы считаем, что качество продукта определяют прежде всего люди. На эту позицию мы ищем технологического лидера, который возглавит построение инфраструктуры данных и выстроит коммуникацию с командой бэкенда. Key Responsibilities: • Проектирование инфраструктуры данных с нуля. Создание и развитие масштабируемых систем DWH, Data Lake и витрин данных для SaaS-платформы в домене iGaming. • Реализация высоконагруженных систем сегментации. Разработка механизмов обработки сотен терабайт данных, обеспечивающих сегментацию пользователей в реальном времени с миллисекундным откликом. • Технологическое лидерство и поддержка среды. Экспертное управление стеком данных и обеспечение надежной работы всей инфраструктуры в условиях постоянного роста нагрузок. Must Have: • Опыт от 5 лет в Data Engineering на High-load проектах (FinTech, iGaming, AdTech) работа с объемами данных в десятки/сотни терабайт. • Свободное владение Python и понимание JVM-стека (Kotlin/Java). • На уровне чтения владение Go: вы должны понимать логику микросервисов бэкенда для анализа источников данных. Hard Skills: • Ядро. Твердое понимание и экспертиза в Data Warehouse (DWH), Data Lakehouse, Data Modeling, ETL/ELT. • Системы хранения. Глубокая экспертиза в ClickHouse/Аналоги (проектирование Materialized Views, выбор движков таблиц) и PostgreSQL 18. • Танспорт. Опыт миграции и работы с Kafka (AWS MSK) и NATS JetStream. • Проектирование данных. Экспертное знание методологий Kimball, Inmon и Data Vault 2.0. Понимание разницы между нормализованными структурами и денормализованными витринами (Data Marts). • Обработка данных. Опыт работы со Spark/Flink для Real-time аналитики и dbt для трансформаций. • Инфраструктура. Работа в AWS (S3, RDS, MemoryDB) и аналогичными облачными решениями, с подходом минимизации Vendor Lock-In • Инженерные практики. Опыт работы с CI/CD для пайплайнов, написание тестов на данные, версиониование схем (например, Confluent Schema Registry). Soft Skills: • Умение аргументированно выбирать стек и защищать архитектурные решения перед архитектором и CTO. • Выстроить процессы взаимодействия с Go-командой бэкенда. • Готовность нанимать и развивать команду инженеров данных под себя в будущем. Что мы готовы предложить: • Три формата работы на выбор: офис, гибрид, удаленка; • Офис A класса в центре Москвы; • Трудоустройство по ТК РФ; • 7 рабочих часов и 1 час гибкий обеденный; • Гибкое начало рабочего дня с 9 до 12; • Компенсация расходов на обеды; • ДМС со стоматологией; • Компенсация расходов на обучение, курсы английского, спорт; • Два дополнительных day off в месяц.