Middle Data инженер

Что предстоит делать

<p>N-iX ищет Middle Data engineer для участия в проекте продолжительностью 6 месяцев.</p><p>Вы будете выступать в роли независимого практикующего инженера и технического владельца готовности данных. Роль сочетает инженерию пайплайнов и запросов с исследованием вопросов источников, маппинга, иерархии и валидации; координацию циклов валидации рынков и провайдеров; сверку выходных данных; и поставку технически готовых наборов данных нижестоящим потребителям.</p><p>Команда Data Engineering создаёт и поддерживает пайплайны, при этом маппинги и конфигурации определяют охват ячеек/моделей; задания извлечения Snowflake выполняют SQL через Databricks, с Blob Storage, валидацией, трансформациями Medallion, проверкой Power BI и поставкой Gold в Ekimetrics. Операционная модель также требует сквозной триажной диагностики между MDFA, CDF, WPP, Data Foundation, Redmill и заинтересованными сторонами рынков, а не рассмотрения каждого расхождения как дефекта кода.</p><p><strong>Ключевые обязанности</strong><strong>:</strong></p><ul><li>Самостоятельно проектировать, разрабатывать, поддерживать, тестировать, развёртывать и оптимизировать рабочие процессы приёма данных, валидации, трансформации, агрегации, качества данных, обнаружения аномалий и извлечения</li><li>Разрабатывать и настраивать пакеты Python/PySpark, SQL-запросы извлечения, задания Databricks, пайплайны ADF, таблицы Delta и контракты источник-к-цели</li><li>Отвечать за техническую готовность новых ячеек и обновлений: уточнять фильтры и ожидаемый охват, реализовывать или обновлять запросы, проверять маппинги/конфигурацию, сверять выходные данные и подтверждать готовность к бизнес-валидации</li><li>Исследовать проблемы источников, NCID, таксономии, иерархии, маппинга, соглашений об именовании, агрегации, отсутствующих недель, выбросов и производительности в CDF, MDFA/PFME, API, ручных файлах и специфических источниках</li><li>Координировать циклы технической валидации с Product, CMIA/рынками, WPP/MDFA, CDF, другими поставщиками данных и Ekimetrics; преобразовывать заявленные расхождения в ответственных исполнителей и технические доказательства</li><li>Обеспечивать разрешение сложных инцидентов в пайплайнах, контрактах данных, доступе, service principals, секретах, сетевом взаимодействии, обновлениях Power BI и нижестоящей поставке</li><li>Проверять pull requests и доказательства тестирования; направлять Junior-инженера и делегировать ограниченные инженерные/поддерживающие задачи, не становясь people-менеджером</li><li>Поддерживать документацию по архитектуре, контракты интерфейсов, документацию репозитория, runbooks, процедуры развёртывания и руководства по поддержке/эскалации</li><li>Рекомендовать практические улучшения автоматизации, надёжности, производительности и поддерживаемости, соблюдая стандарты платформы и ответственность за бизнес-валидацию.</li></ul><p><strong>Обязательные технические компетенции</strong><strong>:</strong></p><ul><li><nobr>5–6</nobr> лет профессионального инженерного опыта с самостоятельной ответственностью за продакшн</li><li>Уверенное владение Python, PySpark и SQL, включая сложные трансформации, оптимизацию запросов, переиспользуемые пакеты, отладку, тесты и сверку</li><li>Уверенный опыт инженерии ETL/ELT и пакетных пайплайнов с реляционными хранилищами, API, объектным хранилищем и приёмом данных из файлов</li><li>Опыт с облачным data lake/lakehouse, паттернами Medallion, контрактами схем/интерфейсов, контролем качества данных, оркестрацией, наблюдаемостью и восстановлением после инцидентов</li><li>Прочные практики инженерии Git: ветвление, pull requests, ревью, автоматизированные тесты, контроль развёртывания и документация</li><li>Подтверждённая способность переводить бизнес/дата-требования в фильтры, маппинги, трансформации, правила валидации и операционные рабочие процессы</li><li>Решение проблем во взаимодействии с заинтересованными сторонами: объяснять расхождения, оспаривать неполные требования, определять технических владельцев и доводить вопросы до закрытия.</li></ul><p><strong>Желательно:</strong></p><ul><li>Сильное предпочтение опыту с Azure Data Factory, Azure Databricks, Databricks Jobs/API, Delta Lake, Snowflake, Azure Blob Storage/Data Lake, Power BI, GitHub и Azure Key Vault</li><li>Ценный опыт с Pandera или эквивалентными фреймворками валидации схем, Streamlit, Managed Identity/service principals, Azure Communication Services, Managed VNet/Private Endpoints и практиками релизов Dev/Prod</li><li>Опыт с данными PFME/media, syndicated sales, маркетинговыми иерархиями, входными данными MMM или онбордингом мультирыночных данных предпочтителен, но ему можно научиться.</li></ul> <div class="content-conclusion"><p><strong>Мы предлагаем*:</strong></p><ul><li>Гибкий формат работы — удалённо, в офисе или гибкий</li><li>Конкурентоспособную зарплату и хороший компенсационный пакет</li><li>Персонализированный карьерный рост</li><li>Инструменты профессионального развития (программа менторства, технические доклады и тренинги, центры компетенций и многое другое)</li><li>Активные технические сообщества с регулярным обменом знаниями</li><li>Компенсацию обучения</li><li>Памятные подарки к годовщинам</li><li>Корпоративные мероприятия и тимбилдинги</li><li>Другие льготы, зависящие от локации</li></ul><p>*не применяется к фрилансерам</p></div> <div> <a href="https://jobs.dou.ua/companies/n-ix/vacancies/377077/#reply-btn-id">Откликнуться на вакансию</a> </div>