Data Engineer

Что предстоит делать

<p>Мы строим цифровую инфраструктуру, которая обеспечивает работу сервисов, которыми украинцы пользуются ежедневно. Наша команда AICoE — это кросс-функциональный движок, где инженеры, аналитики и <nobr>ML-специалисты</nobr> превращают потоки информации в надёжную основу для стратегических решений и продуктов будущего. Мы строим Национальный корпус украинского языка и тренируем LLM, которая будет говорить, понимать и писать по-украински.</p> <p><strong>Наши ценности:</strong></p><p>Мы верим в инакШОмышление, которое открывает новые инженерные горизонты и формирует будущее цифрового государства. Клиентоцентричность для нас — не просто подход, а ежедневная практика понимания и превосхождения ожиданий людей, для которых мы работаем. Мы действуем в культуре кооперации и открытости, где честность и добродетельность являются неизменными ориентирами. А наша настойчивость позволяет преодолевать сложные вызовы и достигать амбициозных целей вместе.</p> <p><strong>Ваша основная миссия:</strong></p><p>Создание и обеспечение функционирования масштабируемой инфраструктуры сбора и обработки данных, которая позволит искусственному интеллекту говорить, понимать и писать на украинском языке. Ваша работа — это фундамент для AI/ML-моделей и государственных сервисов, которые меняют повседневную жизнь миллионов граждан.</p> <p><strong>В фокусе работы:</strong></p><p>— проектирование и разработка ETL-пайплайнов для обработки данных из различных источников и загрузки их в централизованные хранилища;</p><p>— реализация надёжных процессов для обработки структурированных, полуструктурированных и неструктурированных данных;</p><p>— создание и оптимизация хранилищ данных;</p><p>— интеграция данных в различные среды (Kubernetes, AWS, Azure, GCP) и поддержка CI/CD пайплайнов вместе с DevOps-командой;</p><p>— взаимодействие с датасайентистами и <nobr>ML-инженерами</nobr> для обеспечения чистых и версионированных наборов данных;</p><p>— мониторинг ETL-процессов и разработка панелей отслеживания с помощью Grafana и других инструментов;</p><p>— обеспечение качества данных через автоматизированные решения для очистки, валидации и трансформации.</p> <p><strong>От вас ожидаем:</strong></p><p>— высшее образование бакалаврского или магистерского уровня;</p><p>— от 1.5 лет подтверждённого опыта на позиции Data Engineer или смежной инженерной роли;</p><p>— уверенное знание Python и/или Scala для обработки данных;</p><p>— экспертные навыки SQL для работы с большими массивами данных и оптимизации запросов;</p><p>— опыт работы с ETL-инструментами (Apache Airflow / Dagster);</p><p>— знание платформ хранилищ данных: Snowflake, Redshift, BigQuery, Azure Synapse или других;</p><p>— опыт работы с облачными сервисами для данных (AWS Glue, Azure Data Factory, GCP Dataflow или аналогичных);</p><p>— навыки работы с фреймворками трансформации данных (Pandas, PySpark);</p><p>— владение английским языком на уровне B2 (Upper-Intermediate) для свободного чтения технической документации.</p> <p><strong>Будет плюсом:</strong></p><p>— опыт работы с распределёнными системами и фреймворками трансформации (Apache Spark, PySpark);</p><p>— опыт построения конвейеров для обработки текстовых данных (NLP) или подготовки датасетов для AI/ML-проектов;</p><p>— опыт работы с современными облачными хранилищами данных (Snowflake, BigQuery, Redshift) или Azure/AWS сервисами.</p> <p><strong>Мы ищем талант, который:</strong></p><p>— мыслит системно и видит архитектуру данных как единый организм, а не набор отдельных задач;</p><p>— способен быстро адаптироваться к меняющимся приоритетам и сохранять качество решений в динамичной среде;</p><p>— умеет превращать сложные технические концепции в понятные решения для нетехнических стейкхолдеров;</p><p>— проявляет проактивность в выявлении узких мест и внедрении долгосрочных улучшений.</p> <p><strong>Мы предлагаем:</strong></p><p>— возможность строить инфраструктуру данных для сервисов, которыми пользуются миллионы украинцев ежедневно;</p><p>— работу в команде, которая сочетает скорость стартапа с масштабом государственных продуктов;</p><p>— реальное влияние на цифровую трансформацию Украины через технологии мирового уровня;</p><p>— среду, где ваши инженерные решения непосредственно определяют качество государственных сервисов;</p><p>— офис с генератором и бесперебойным интернетом;</p><p>— бронирование работников при условии актуального воинского учёта.</p> <p><strong>Готовы к вызову?</strong></p><p>Мы ищем не просто инженера данных — мы ищем архитектора, чьи решения будут обеспечивать развитие украинского AI и государственных продуктов нового поколения. Если вы готовы развивать инфраструктуру, которая меняет страну, — ждём в нашей команде!</p> <div> <a href="https://jobs.dou.ua/companies/thedigital/vacancies/377138/#reply-btn-id">Откликнуться на вакансию</a> </div>