Data Engineer

Что предстоит делать

<p>Defence AI Center A1 — центр внедрения искусственного интеллекта, созданный при Минобороны для предоставления украинской армии преимущества на поле боя за счет AI-технологий.<br><br><strong>Ваша основная миссия:</strong></p><p>Data Engineer в Defense AI Center A1 — это архитектор, который отвечает за полный цикл работы с данными. Вы будете создавать надежные, безопасные и масштабируемые data pipelines, которые собирают и обрабатывают колоссальные массивы информации из разнообразных источников. Ваша работа превращает разрозненные сырые данные в фундаментальную базу, без которой невозможно обучение передовых AI-моделей.<br><br></p><p><strong>В фокусе работы:</strong></p><p>— проектирование, разработка и оптимизация ETL-пайплайнов для обработки структурированных, полуструктурированных и неструктурированных данных;</p><p>— обеспечение качества данных через автоматизированные процессы очистки, валидации и трансформации;</p><p>— проектирование и поддержка хранилищ данных на платформах Snowflake, Redshift, BigQuery или Azure Synapse;</p><p>— интеграция пайплайнов с облачными средами (AWS, GCP, Azure) и CI/CD-процессами DevOps;</p><p>— поставка чистых, версионированных датасетов для Feature Stores и ML-пайплайнов в тесном сотрудничестве с data scientists и ML-инженерами;</p><p>— мониторинг и устранение сбоев в пайплайнах с помощью Grafana, CloudWatch или Datadog;</p><p>— адаптация к динамичным приоритетам в быстро меняющейся стартап-среде.<br><br></p><p><strong>От вас ожидаем:</strong></p><p>— 2+ года опыта на позиции Data Engineer с фокусом на ETL, data warehousing и pipeline development;</p><p>— уверенное знание Python и/или Scala для обработки данных;</p><p>— опыт работы с ETL-инструментами: Apache NiFi, Airflow, dbt или Talend;</p><p>— экспертные навыки SQL для работы с большими наборами данных и оптимизации запросов;</p><p>— практический опыт с платформами хранилищ данных (Snowflake, Redshift, BigQuery, Azure Synapse, Databricks);</p><p>— знание облачных сервисов для данных (AWS Glue, Azure Data Factory, GCP Dataflow);</p><p>— опыт работы с фреймворками трансформации данных: Pandas или PySpark.<br><br></p><p><strong>Будет плюсом:</strong></p><p>— опыт работы с распределенными системами (Apache Spark, Apache Iceberg, Kafka, Flink);<br>— опыт работы с Trino;</p><p>— практический опыт интеграции данных в AI/ML-проектах, в частности с Feature Stores и реестрами моделей;</p><p>— знание практик MLOps и data governance (версионирование, безопасность, приватность данных).<br><br></p><p><strong>Мы предлагаем:</strong></p><p>— работу с передовыми облачными технологиями и AI/ML-экосистемой;</p><p>— работу в среде Defense AI Center A1 — на пересечении инноваций, исследований и реального внедрения;</p><p>— команду единомышленников с культурой открытости, быстрых решений и взаимной поддержки;</p><p>— бронирование работников при условии актуального воинского учета.<br><br></p><p><strong>Готовы к вызову?</strong></p><p>Если вы готовы усиливать обороноспособность страны через технологии — присоединяйтесь к нам.</p> <div> <a href="https://jobs.dou.ua/companies/defence-ai-center-a1/vacancies/365684/#reply-btn-id">Откликнуться на вакансию</a> </div>