Старший инженер данных (Data Engineer)

Что предстоит делать

<h3>Роль</h3><p>Данные о облачных биллингах по своей сути хаотичны — мультиоблачные, с разной структурой, с моделями биллинга, которые не нормализуются чисто, и сигналами использования, которые ведут себя непредсказуемо. Вы будете владеть инфраструктурой данных, которая распутывает это: пайплайнами, моделями и бэкенд-сервисами, которые превращают необработанные экспорты биллинга AWS, GCP и Azure в надежные продуктовые возможности. Это роль с полной ответственностью за продукт — архитектура, код, мониторинг и стабильность ложатся на вас.</p><h3>О продукте</h3><p>Платформа собирает и обрабатывает крупномасштабные данные о облачных биллингах, использовании и операционных данных из AWS, Azure и GCP — и превращает их в видимость затрат, рекомендации, прогнозирование и обнаружение аномалий для корпоративных клиентов. Основная инженерная задача — масштаб и надежность: структуры облачных биллингов сложны, объемы высоки, а данные напрямую влияют на продуктовые решения и расходы клиентов. Это продуктовая компания, а не консалтинг — инфраструктура, которую вы строите, работает в продакшене и влияет на реальных клиентов.</p><p><strong>Технологический стек: </strong>Платформа работает с данными облачных биллингов и использования из AWS, Azure и GCP — обрабатываемыми с помощью Python и SQL, оркестрируемыми с помощью Airflow и работающими на современных платформах данных, включая Spark, ClickHouse, BigQuery, Databricks и Snowflake. Стек был выбран с учетом масштаба и стоимости: та же дисциплина, которая применяется к облачным расходам клиентов, применяется и внутри компании. AWS является основной облачной средой.</p><h3>Чем вы будете заниматься</h3><ul><li>Проектировать и поддерживать продакшен ETL/ELT пайплайны, которые собирают, нормализуют и моделируют данные облачных биллингов и использования в масштабе от нескольких облачных провайдеров.</li><li>Отвечать за производительность, надежность и экономическую эффективность платформы данных — оптимизацию запросов, архитектуру хранения, затраты на обработку и стабильность продакшена.</li><li>Создавать бэкенд-сервисы данных на Python и SQL, которые обеспечивают возможности продукта: рекомендации по стоимости, прогнозирование использования, обнаружение аномалий и аналитику для клиентов.</li><li>Работать с исходными данными облачных биллингов, включая AWS CUR, экспорты Azure Cost Management и экспорты биллинга GCP — включая сложные структуры, такие как биллинг маркетплейсов и партнерские модели.</li><li>Проектировать и улучшать потоки оркестрации с использованием Airflow или аналогов, на таких платформах, как Spark, Databricks, Snowflake, BigQuery или ClickHouse.</li><li>Отвечать за качество данных, мониторинг и наблюдаемость — не только за пайплайн, но и за то, что из него выходит.</li><li>Проверять архитектуру и код, наставлять других инженеров и повышать инженерные стандарты в области данных.</li><li>Использовать AI/LLM инструменты (Cursor, GitHub Copilot, Claude, ChatGPT или аналоги) в качестве ежедневного ускорителя разработки — для кодирования, отладки, тестирования, документации и технических исследований — сохраняя при этом полную инженерную ответственность за результат.</li></ul><h3>Что мы ожидаем</h3><h3><strong>Обязательно</strong></h3><ul><li>7+ лет в инженерии данных, инженерии платформ данных или бэкенд-инженерии с сильным фокусом на данные.</li><li>Продакшен-уровень Python и SQL — не ноутбуки, не скрипты. Код, который надежно работает в продакшене в масштабе.</li><li>Серьезный опыт создания и поддержки ETL/ELT пайплайнов с реальной ответственностью: проектирование, развертывание, мониторинг и реагирование на инциденты.</li><li>Опыт работы с крупномасштабной обработкой данных с использованием Spark или аналогичных фреймворков.</li><li>Оркестрация рабочих процессов с помощью Apache Airflow или аналогов.</li><li>Облачный опыт, в первую очередь AWS. GCP и/или Azure будут большим преимуществом.</li><li>Практический опыт работы как минимум с одним облачным хранилищем данных или движком запросов: Redshift, Athena, BigQuery, Snowflake, Databricks, ClickHouse или аналогом.</li><li>Глубокое понимание моделирования данных, качества данных и мониторинга продакшена.</li><li>Подтвержденный опыт оптимизации производительности запросов, использования хранилища или затрат на инфраструктуру.</li><li>Способность вести технические обсуждения, владеть доменами от начала до конца и наставлять других инженеров.</li><li>Практический опыт использования AI/LLM инструментов как части рабочего процесса разработки ПО — и инженерное чутье для проверки того, что они создают.</li></ul><h3><strong>Желательно</strong></h3><ul><li>Опыт работы именно с данными облачных биллингов: AWS CUR, Azure Cost Management, экспортами биллинга GCP, биллингом маркетплейсов или партнерскими моделями биллинга.</li><li>Опыт в FinOps, оптимизации облачных затрат или данных о биллинге на основе использования.</li><li>Опыт создания продуктов данных: рекомендаций, потоков прогнозирования, дашбордов или пайплайнов обнаружения аномалий.</li><li>Опыт руководства небольшой командой или работы в качестве технического владельца домена данных.</li><li>Опыт работы с сервисами AWS: S3, Glue, Lambda, Athena, Redshift, EMR, ECS, EKS.</li><li>Подтвержденный опыт работы в стартапе или продуктовой компании.</li></ul><h3>Почему эта роль стоит вашего времени</h3><ul><li><b>В домене есть реальная техническая глубина.</b> Данные облачных биллингов действительно сложны — из разных источников, неоднородной структуры, больших объемов и напрямую связаны с бизнес-результатами. Это не CRUD пайплайны над чистыми данными.</li><li><b>Вы будете владеть инфраструктурой, которая формирует продукт.</b> Платформа данных — это не вспомогательная функция, а основной слой, который делает возможными рекомендации по стоимости, прогнозирование и обнаружение аномалий. То, что вы строите, определяет, что может делать продукт.</li><li><b>AI-инструменты — это ожидание первого класса, а не новинка.</b> Команда использует AI-инструменты как ежедневные множители продуктивности. Вам не придется объяснять, почему вы используете Cursor или Claude — это от вас ожидается.</li><li><b>Сквозная ответственность.</b> От проектирования до поведения в продакшене — вы отвечаете за все. Роль подходит инженерам, которые хотят видеть свои решения в реальном мире, а не передавать их кому-то другому.</li></ul> <div> <a href="https://jobs.dou.ua/companies/newxel/vacancies/361522/#reply-btn-id">Відгукнутись на вакансію</a> </div>