Инженер по данным / Data Platform Engineer

Что предстоит делать

<p><strong>Обзор</strong></p><p>Вы будете отвечать за операционное здоровье современной data-платформы — хранилища Snowflake, слоя трансформации dbt и питающих их ELT-пайплайнов. Роль находится на стыке data engineering, эксплуатации платформы и поддержки команды: обеспечение надёжности и производительности платформы, контроль её стоимости и повышение стандартов работы всей data-команды.</p><p>Это практическая роль с реальным взаимодействием со стейкхолдерами. Вы будете работать с Data Engineering, Analytics, Finance и Security, а не внутри одной команды.</p><p><strong>Обязанности</strong></p><p><strong>Эксплуатация платформы и надёжность</strong></p><ul><li>Отвечать за операционное здоровье среды Snowflake — sizing warehouse, оптимизация производительности запросов и управление стоимостью</li><li>Мониторить и поддерживать здоровье dbt-проекта: производительность моделей, покрытие тестами, стандарты документации</li><li>Обеспечивать надёжность ELT-пайплайнов на всех инструментах ingestion, с надлежащим алертингом и реагированием на инциденты</li><li>Управлять SLA по свежести данных и проактивно коммуницировать при возникновении проблем</li></ul><p><strong>Управление стоимостью и ресурсами</strong></p><ul><li>Мониторить и оптимизировать потребление кредитов Snowflake; выявлять неэффективные запросы и рекомендовать конфигурации warehouse</li><li>Внедрять resource monitors, стратегии тегирования и модели chargeback там, где это уместно</li><li>Совместно с Finance прогнозировать затраты на data-платформу и управлять бюджетом</li></ul><p><strong>Governance и качество</strong></p><ul><li>Устанавливать и обеспечивать соблюдение фреймворков качества данных с использованием dbt-тестов, проверок свежести и обнаружения аномалий</li><li>Поддерживать политики контроля доступа и обеспечивать соответствие требованиям data governance</li><li>Отвечать за управление инцидентами, связанными с данными, включая анализ первопричин и предотвращение</li></ul><p><strong>Поддержка и процессы</strong></p><ul><li>Определять и поддерживать операционные runbook'и для типовых задач и реагирования на инциденты</li><li>Поддерживать инженеров и аналитиков по лучшим практикам dbt, стандартам code review и процессам деплоя</li><li>Продвигать инструменты observability, чтобы дать команде видимость состояния данных</li></ul><p><strong>Сотрудничество</strong></p><ul><li>Работать с Data Engineering над улучшениями инфраструктуры и архитектурными решениями</li><li>Сотрудничать с командами Analytics и BI для понимания потребностей потребителей и приоритизации работ по надёжности</li><li>Координировать с Security и Compliance по требованиям аудита и проверкам доступа</li></ul><p><strong>Кто вы</strong></p><ul><li>Практик по предпочтению — вы скорее откроете план запроса сами, чем делегируете это</li><li>Комфортно отвечаете за надёжность платформы, а не просто строите поверх неё</li><li>Умеете ясно доносить мысли на стыке engineering, analytics, finance и compliance</li><li>Осознаёте стоимость: относитесь к потреблению кредитов как к инженерной задаче</li><li>Тот, кто повышает стандарты вокруг себя через runbook'и, review и поддержку</li></ul><p><strong>Технологический стек, с которым вы будете работать</strong></p><ul><li><strong>Warehouse:</strong> Snowflake — администрирование, sizing warehouse, resource monitors, оптимизация SQL</li><li><strong>Трансформация:</strong> dbt (Core или Cloud) — инкрементальные модели, макросы, фреймворки тестирования</li><li><strong>ELT:</strong> Fivetran, Airbyte, Stitch или аналогичные инструменты ingestion</li><li><strong>DataOps:</strong> контроль версий, автоматизированное тестирование, CI/CD для данных</li><li><strong>Observability:</strong> Monte Carlo, Elementary, dbt Cloud или аналоги</li><li><strong>Оркестрация:</strong> Airflow, Dagster, Prefect</li></ul><p><strong>Квалификация</strong></p><p><strong>Обязательные требования</strong></p><ul><li>Обширный опыт в data engineering, analytics engineering или ролях, связанных с data-платформой</li><li>Сильные практические навыки администрирования Snowflake и оптимизации SQL</li><li>Владение dbt (Core или Cloud), включая инкрементальные модели, макросы и фреймворки тестирования</li><li>Опыт эксплуатации ELT-пайплайнов в масштабе (Fivetran, Airbyte или кастомные решения)</li><li>Понимание принципов DataOps и CI/CD для данных — контроль версий, автоматизированное тестирование, пайплайны деплоя</li><li>Сильные навыки работы со стейкхолдерами и коммуникации</li></ul><p><strong>Будет плюсом</strong></p><ul><li>Платформы data observability: Monte Carlo, Elementary, Datafold</li><li>Инструменты оркестрации: Airflow, Dagster, Prefect</li><li>Оптимизация стоимости облачных data-платформ</li><li>Фреймворки data governance и compliance: GDPR, SOC 2</li></ul> <div> <a href="https://jobs.dou.ua/companies/qubit-labs/vacancies/375924/#reply-btn-id">Откликнуться на вакансию</a> </div>