Старший инженер данных (миграция Matillion на AWS Glue)

Что предстоит делать

<p><strong>Описание проекта:</strong></p><p>Это стратегический проект по инженерии данных с нашим клиентом, направленный на архитектурное проектирование и планирование миграции всего их парка обработки данных и ETL-решений с Matillion на AWS Glue — фундаментальный сдвиг в том, как одна из крупнейших в мире компаний финансовой рыночной инфраструктуры управляет своими конвейерами данных.<br>В ходе этой мобилизационной фазы вы будете работать совместно с инженерными командами клиента над обратным проектированием существующего ландшафта, проектированием целевой архитектуры на всех уровнях (инфраструктура, обработка данных, рабочие процессы, зависимости и операционная модель), а также над созданием детального плана поставки, который даст зеленый свет полномасштабной миграции.<br>Работа технически насыщенная и требует высокой степени взаимодействия: вы будете анализировать и проверять реестры заданий, охватывающие сотни ETL-процессов, определять переиспользуемые шаблоны и паттерны миграции, разрабатывать фреймворк валидации и сверки, запускать proof-of-concept для проверки подхода под нагрузкой, а также проходить строгие внутренние процедуры согласования клиента — от оценки архитектурной значимости через архитектурные комитеты до формального решения по Gate 1.<br>Это тот тип проекта, где ваши рекомендации напрямую формируют многофазную программу стоимостью в миллионы фунтов: создаваемый вами целевой фреймворк становится основой, по которой будет работать более крупная команда поставки. Отличная возможность объединить глубокие знания в области инженерии данных с архитектурным лидерством, влиянием на заинтересованные стороны и структурированным планированием поставки в среде финансовых услуг уровня Tier 1.</p><p><strong>Обязанности:</strong></p><p>— Разработка агентного AI-фреймворка для миграции — проектирование и создание агентного AI-фреймворка для автоматизации и ускорения рабочих процессов миграции;<br>— Создание библиотеки паттернов — разработка и поддержка библиотеки переиспользуемых паттернов/шаблонов миграции для типовых сценариев конвертации;<br>— Автоматизированный конвейер конвертации — создание конвейеров, которые автоматически преобразуют/трансформируют код и конфигурации (например, задания Matillion) в рамках процесса миграции;<br>— Интеграция GitHub Copilot для генерации кода — интеграция GitHub Copilot в рабочий процесс миграции для ускорения задач генерации и конвертации кода;<br>— Поддержка фабричных групп (factory pods) — предоставление технической поддержки, инструментов и устранение неполадок для фабричных групп, выполняющих миграцию в масштабе.</p><p><strong>Обязательные навыки:</strong></p><p>— Python — уверенный практический опыт разработки на Python для создания инструментов и автоматизации;<br>— Интеграция GenAI/LLM — опыт интеграции возможностей GenAI/LLM в приложения, рабочие процессы или инструменты;<br>— Prompt engineering — практический опыт разработки, тестирования и оптимизации промптов для инструментов на основе LLM;<br>— AWS Bedrock — практический опыт работы с AWS Bedrock для создания приложений на базе GenAI;<br>— GitHub Copilot — практический опыт использования и/или интеграции GitHub Copilot в процессы разработки;<br>— Фреймворки автоматизации — опыт проектирования и создания фреймворков/инструментов автоматизации с нуля;<br>— Тестирование — уверенный опыт в автоматизации тестирования и фреймворках валидации для обеспечения точности конвертации;<br>— Разбор JSON в Matillion — опыт парсинга, интерпретации и трансформации определений заданий Matillion (формат JSON).</p><p><strong>Желательные навыки:</strong></p><p>Опыт работы в финансовой сфере.</p> <div> <a href="https://jobs.dou.ua/companies/luxoft/vacancies/372195/#reply-btn-id">Откликнуться на вакансию</a> </div>