Senior Data Engineer

Что предстоит делать

Senior Data Engineer Мы ищем опытного Senior Data Engineer, способного самостоятельно закрывать задачи по оркестрации, проектированию хранилищ и обработке данных. Вашей ключевой задачей станет развитие DWH/ODS, оптимизация инфраструктуры (ClickHouse, Postgres), построение батчевых и потоковых пайплайнов, а также наведение порядка в унаследованных процессах. 🎨 Чем предстоит заниматься (Обязанности): • Оркестрация и пайплайны: проектирование, разработка и поддержка batch-процессов, витрин данных и регламентных расчётов на Apache Airflow. • Аналитические витрины (ClickHouse): развитие витрин для риск-отчётности и систем принятия решений (финансовые и поведенческие метрики). • Streaming & ODS: • Построение потоковой доставки данных через Apache Kafka (near real-time). • Развитие ODS на PostgreSQL: интеграция данных с бэкенда продукта, проектирование схем, настройка инкрементальной загрузки. • Оптимизация баз данных: тюнинг производительности PostgreSQL, MySQL и ClickHouse (индексы, схемы, рефакторинг тяжёлых запросов). • Data Storage: работа с объектными хранилищами (S3 / MinIO) как слоем хранения. • Рефакторинг и ревизия: аудит, инвентаризация и наведение порядка в legacy-скриптах и DAG'ах, явное распределение зон ответственности за процессы. • Data Quality & SLA: настройка мониторинга и алертинга (надежность, полнота, свежесть витрин и выдерживание SLA). • Кросс-функциональная работа: взаимодействие с Data Science, аналитиками и backend-разработчиками (согласование контрактов данных, подготовка данных для ML-моделей). 🎯 Что для нас важно (Требования): • Языковой стек: отличное знание Python и SQL. • ETL/ELT в Production: уверенный опыт создания и поддержки пайплайнов, отличные знания Apache Airflow (обязательно). • ClickHouse: проектирование аналитических витрин и оптимизация сложных запросов на больших объемах данных. • Реляционные БД & ODS/DWH: глубокие знания PostgreSQL / MySQL, опыт оптимизации БД и построения ODS/DWH поверх операционных источников. • Senior-автономия: умение самостоятельно вести направление данных, в одиночку держать пайплайны, правильно расставлять приоритеты и доводить задачи до результата. • Архитектура: понимание принципов проектирования отказоустойчивых и масштабируемых систем. • Культурный код: привычка фиксировать правила, схемы данных, зоны ответственности и вести runbook'и. Будет большим преимуществом: • ⭐️ Опыт работы с Apache Kafka (продюсеры, потребители, схемы). • ⭐️ Опыт работы с S3 / MinIO и Apache NiFi. • ⭐️ Опыт миграции пайплайнов и наведения порядка в унаследованном технологическом ландшафте. • ⭐️ Бэкграунд в сферах FinTech, платежах или AntiFraud. • ⭐️ Навыки настройки CI/CD для дата-инженерии и подходы IaC (Infrastructure as Code). 🚀 Что мы предлагаем (Условия): • Уровень свободы: высокая автономность в принятии технических решений без микроменеджмента. • Современный стек: Airflow, ClickHouse, Kafka, PostgreSQL, S3/MinIO, Python. • Формат работы: 100% удаленка. 📩 Как откликнуться: В сопроводительном письме, пожалуйста, укажи: • С какими объемами данных в ClickHouse / Postgres приходилось работать? • Был ли у тебя опыт самостоятельного ведения дата-инфраструктуры (в качестве единственного Data Engineer / Lead)? • Есть ли опыт работы с Kafka и финтех/риск-метриками?