Data Engineer

Что предстоит делать

<p><strong>Data Science UA</strong> — сервисная компания с сильной экспертизой в data science и AI. Наш путь начался в 2016 году с объединения лучших AI-талантов и организации первой Data Science tech-конференции в Киеве. За последние 9 лет мы усердно развивали одно из крупнейших сообществ Data Science &amp; AI в Европе.<br><br><strong>О клиенте:</strong> <br>Компания является первопроходцем в мире рекламы на основе данных, известна своим инновационным подходом к оптимизации размещения рекламы и эффективности кампаний с помощью продвинутой аналитики и методов машинного обучения. Её миссия — революционизировать рекламный сектор, позволяя брендам более эффективно охватывать свою аудиторию.<br><br><strong>О роли:</strong> <br>Мы ищем опытного и динамичного <strong>Data Engineer</strong> с любознательным и креативным мышлением для присоединения к команде нашего клиента. Идеальный кандидат будет иметь сильный опыт в Python, SQL и крупномасштабных data pipelines. Как Data Engineer вы будете проектировать, создавать и эксплуатировать data-платформу, которая обеспечивает работу компании: pipelines, которые принимают и преобразуют очень большие наборы данных от внешних data-партнёров, data-модели, которые запрашивает вся компания, и сервисы, которые делают эти данные доступными для внутренних продуктов. <br>Локация: Украина обязательна.<br><br><strong>Обязанности:</strong> <br>- Проектировать и создавать batch data pipelines, которые принимают, валидируют и преобразуют наборы данных размером в миллиарды строк от внешних data-провайдеров и внутренних систем;<br>— Моделировать сложные реальные данные: dimensional-модели, reference data и темпоральные данные, атрибуты которых меняются со временем (например, slowly changing dimensions), и безопасно развивать эти модели по мере изменения схем и семантики upstream-источников;<br>— Разрабатывать и эксплуатировать рабочие нагрузки на нашей lakehouse-платформе (Databricks / Spark / Delta) и нашем data warehouse (Redshift), включая миграцию существующих pipelines из warehouse в lakehouse;<br>— Оркестрировать pipelines с помощью Airflow: планирование, зависимости, повторы, backfills и алертинг;<br>— Доказывать корректность, а не только завершённость: проектировать parity-проверки и reconciliation-запросы при замене существующего pipeline, выполнять крупные исторические backfills и расследовать расхождения в данных вплоть до уровня строки;<br>— Создавать и поддерживать Python-сервисы и REST API, которые предоставляют данные внутренним продуктам;<br>— Оптимизировать производительность и стоимость: тюнинг запросов, проектирование таблиц, управление рабочими нагрузками и right-sizing вычислений;<br>— Отвечать за то, что вы выпускаете: мониторить production pipelines, участвовать в триаже инцидентов и root-cause анализе, а также укреплять системы, чтобы одна и та же ошибка не повторялась дважды;<br>— Кросс-функционально сотрудничать с product-менеджерами, data scientists и стейкхолдерами по всей компании для выполнения product roadmap;<br>— Работать в Agile-команде, которая регулярно выпускает передовые новые функции;<br>— Брать на себя высокую степень ответственности и свободу экспериментировать с новыми технологиями для улучшения нашего ПО.<br><br><strong>Требования:</strong> <br>— Степень бакалавра в Computer Science, Computer Engineering, соответствующей технической области или эквивалентный практический опыт;<br>— 7+ лет опыта работы в качестве data engineer;<br>— Владение Python и использование его в качестве основного языка разработки в последние годы;<br>— SQL на уровне эксперта: уверенное написание, чтение и тюнинг сложных аналитических запросов к очень большим таблицам, а также отладка причин расхождения двух наборов результатов;<br>— Практический опыт с распределённой платформой обработки данных (Spark/Databricks настоятельно предпочтительно; EMR, Snowflake или BigQuery также релевантны) и с колоночным data warehouse (Redshift, Snowflake, BigQuery, ClickHouse и т.д.);<br>— Способность проектировать сложные data-модели: нормализованные, dimensional и темпоральные (slowly changing dimensions, effective-dated records, point-in-time correctness);<br>— Опыт с инструментами оркестрации workflow (Airflow или аналогичные): построение DAG, управление зависимостями и выполнение backfills;<br>— Опыт интеграции сторонних data feeds: обработка schema drift, поздних или отсутствующих поставок, дефектов качества данных поставщиков и версионированных reference data;<br>— Опыт создания REST-сервисов на Python (FastAPI, Flask и т.д.);<br>— Опыт разработки, поддержки и отладки проблем в крупных серверных кодовых базах;<br>— Рабочее знание AWS (S3, IAM, ECS или аналогичные вычисления) и Docker;<br>— Хорошее знание инженерных лучших практик и тестирования (unit test, integration test, code review, CI/CD);<br>— Желание брать на себя высокий уровень ответственности за то, над чем вы работаете;<br>— Способность быстро учиться новому, поддерживать высокую планку качества и быть прагматичным;<br>— Обязательная способность коммуницировать с командами, базирующимися в США;<br>— Опыт с Delta Lake / medallion lakehouse архитектурами будет плюсом;<br>— Опыт миграции legacy pipelines между платформами со строгими требованиями к parity будет плюсом;<br>— Опыт с данными рекламной, медийной или measurement-индустрии будет плюсом;<br>— Способность эффективно коммуницировать с командами, базирующимися в США, и работать 11:00 AM — 8:00 PM EEST (11:00 — 20:00).</p><p><strong>Tech Stack:</strong> <br>— Почти всё, что мы запускаем, работает на AWS (S3, ECS, EMR, RDS и другое)<br>— Python — наш основной язык; SQL повсюду;<br>— Databricks (Spark, Delta Lake) — наша lakehouse-платформа; — Redshift и Postgres — наши warehouse и операционные базы данных;<br>— Airflow оркестрирует наши pipelines;<br>— Docker для упаковки; GitHub Actions и Jenkins для CI/CD;<br>— Grafana, Sentry и OpenSearch для observability;<br>— Наборы данных измеряются в миллиардах строк.</p> <div> <a href="https://jobs.dou.ua/companies/data-science-ua/vacancies/377684/#reply-btn-id">Откликнуться на вакансию</a> </div>