Data Engineer

Что предстоит делать

<p>Data Warehouse — платформа для крупных высоконагруженных проектов. Ядро аналитического хранилища построено на ClickHouse и обслуживает высоконагруженные потоки данных: проектные события, платежи, антифрод и compliance-отчётность.</p><p>Мы ищем инженера, который сможет: принять хранилище в текущем виде и обеспечить непрерывность ETL/ELT-процессов без потери качества; в первые недели пройти передачу знаний от лида (архитектура кластера ClickHouse, пайплайны, интеграции); в перспективе взять на себя техническое лидерство в data-направлении, поскольку второго data-инженера в команде на старте может не быть.</p><p><b>Обязанности</b></p><ul><li>Разработка и поддержка ETL/ELT-процессов для загрузки данных в DWH (платежи, транзакции)</li><li>Проектирование и оптимизация схем данных в ClickHouse (партиционирование, движки таблиц, материализованные представления, TTL)</li><li>Оптимизация SQL-запросов для больших объёмов данных и высокой нагрузки</li><li>Интеграция новых источников данных (провайдеры, платёжные системы, внутренние сервисы) в хранилище</li><li>Построение и развитие модели данных (Star/Snowflake Schema, слои Landing → Staging → Core → Data Marts)</li><li>Внедрение и поддержка проверок качества данных (data quality checks) и мониторинга pipeline’ов</li><li>Обеспечение соответствия хранимых данных требованиям compliance/AML/регуляторной отчётности</li><li>Автоматизация обработки данных с помощью Python</li><li>Документирование архитектуры, схем и решений — чтобы команда могла работать дальше без зависимости от одного человека</li><li>Менторство и передача знаний при расширении команды</li></ul><p><b>Обязательные требования</b></p><ul><li>Опыт работы Data Engineer’ом (или на смежной позиции — DWH Developer, Database Engineer) — от 4 лет</li><li>Уверенное знание SQL продвинутого уровня, включая оптимизацию запросов на больших объёмах данных</li><li>Практический опыт работы с ClickHouse (администрирование, оптимизация, проектирование схем) или другими колоночными/OLAP СУБД (Greenplum, Vertica) с готовностью быстро погрузиться в ClickHouse</li><li>Опыт проектирования и разработки ETL/ELT pipeline’ов с нуля и их поддержки в production</li><li>Уверенное знание Python для обработки, интеграции и автоматизации данных</li><li>Понимание архитектуры Data Warehouse: Fact/Dimension, Star/Snowflake Schema, слои Landing→Staging→Core→Marts (или bronze/silver/gold)</li><li>Опыт работы с оркестрацией pipeline’ов (Airflow или аналоги)</li><li>Опыт работы с высоконагруженными/большими объёмами данных</li><li>Понимание принципов data quality, мониторинга и observability для data-процессов</li><li>Опыт работы с Git, CI/CD</li><li>Готовность работать самостоятельно и принимать технические решения (на старте рядом может не быть второго data-инженера)</li></ul><p><b>Будет плюсом</b></p><ul><li>Опыт с Kafka или другими потоковыми платформами (для near-real-time событий)</li><li>Опыт с dbt или аналогичным transformation framework</li><li>Понимание compliance/AML/регуляторной отчётности</li><li>Опыт менторства и построения инженерных стандартов в data-команде</li><li>Опыт миграции/рефакторинга legacy DWH-решений</li><li>Знание Docker/Kubernetes</li><li>Опыт с BI-инструментами (Power BI, Tableau, Metabase, Superset и т.п.)</li></ul><p><strong>Мы предлагаем</strong></p><ul><li>Гибкий график</li><li>Ежегодный perfomance review</li><li>20 дней на отпуск, 5 day-offs, 15 больничных, выходные на все государственные праздники</li><li>Подарки на день рождения, бонусы на личные семейные праздники и ещё много приятностей</li><li>Медицинская страховка от компании UNIQA</li><li>Участие в конференциях и профильных обучающих мероприятиях за счёт компании</li><li>Персональная новая рабочая техника</li><li>Удобная выплата заработной платы</li><li>Постоянная поддержка связи по всем необходимым вопросам.</li></ul> <div> <a href="https://jobs.dou.ua/companies/innovation-group/vacancies/374387/#reply-btn-id">Откликнуться на вакансию</a> </div>