Data Platform Engineer (Senior / Lead)

Что предстоит делать

<p><strong>Twist Robotics</strong> — украинская технологическая компания, которая разрабатывает беспилотные летательные аппараты коптерного и самолётного типов и связанные с ними системы. Среди публичных продуктов компании — симулятор миссий БпЛА «Обрій» и коптер Saker Scout.</p><p>Мы ищем <strong>Data Platform Engineer (Senior / Lead)</strong>, который присоединится к созданию масштабируемой платформы для автоматизированной генерации, сбора, очистки и трансформации данных, в частности для последующего обучения <nobr>ML-моделей.</nobr> Основная задача роли — интегрировать отдельные инструменты и компоненты в единую надёжную систему, обеспечить стабильную работу процессов обработки данных и заложить основу для дальнейшего развития платформы.</p><h3>Основные обязанности:</h3><ul><li>проектирование, разработка и интеграция компонентов платформы данных в единую масштабируемую и отказоустойчивую систему;</li><li>разработка и сопровождение пакетных и потоковых (batch и streaming) пайплайнов для генерации, сбора, очистки и трансформации данных;</li><li>построение и поддержка надёжных workflow для оркестрации процессов обработки данных с использованием Temporal и других соответствующих инструментов;</li><li>обеспечение качества, воспроизводимости и доступности датасетов для бизнес-потребностей и <nobr>ML-команд;</nobr></li><li>проектирование архитектуры хранения и обработки данных, обеспечение надёжности и безопасности инфраструктуры;</li><li>участие в выборе технологий, формировании архитектурных решений и обосновании технических компромиссов;</li><li>использование AI-агентов и <nobr>LLM-инструментов</nobr> для ускорения разработки, тестирования и автоматизации инженерных задач;</li><li>поддержка качества продакшн-кода и технической документации платформы.</li></ul><h3>Что для нас важно:</h3><ul><li>коммерческий опыт разработки программного обеспечения и создания надёжных production-решений;</li><li>уверенное владение SQL и практический опыт моделирования, получения, трансформации и проверки данных;</li><li>опыт проектирования и поддержки batch- и streaming-процессов, понимание принципов работы Kafka, Spark, Flink или аналогичных инструментов;</li><li>опыт построения пайплайнов для генерации, сбора, очистки и трансформации данных, в частности для <nobr>ML-задач;</nobr></li><li>понимание принципов работы распределённых систем, их масштабирования и обеспечения отказоустойчивости;</li><li>опыт работы с инструментами оркестрации data / <nobr>ML-процессов:</nobr> Airflow, Dagster, Prefect, Kubeflow Pipelines, Metaflow, Flyte или аналогами;</li><li>практическое понимание подходов к построению надёжных workflow и опыт работы с Temporal или готовность быстро его освоить;</li><li>уверенное владение Docker и Kubernetes;</li><li>понимание принципов DevOps, CI/CD и Infrastructure as Code / GitOps;</li><li>опыт настройки мониторинга, логирования и observability для обеспечения стабильной работы систем;</li><li>практический опыт использования AI-агентов и <nobr>LLM-инструментов</nobr> в разработке;</li><li>способность самостоятельно принимать технические решения, аргументировать архитектурные подходы и объяснять их команде.</li></ul><h3>Будет плюсом:</h3><ul><li>практический опыт проектирования и масштабирования Temporal-workflow в production-среде;</li><li>опыт генерации синтетических данных или построения сложных пайплайнов для ML/LLM;</li><li>опыт работы с Lakehouse-форматами: Apache Iceberg, Delta Lake, Hudi;</li><li>опыт работы с облачными платформами AWS, GCP или Azure;</li><li>опыт работы с Terraform и другими инструментами Infrastructure as Code.</li></ul><h3>Мы предлагаем:</h3><ul><li>работу в украинской технологической компании, создающей AI и Robotics решения;</li><li>возможность присоединиться к построению масштабируемой Data Platform и влиять на её архитектуру и технологическое развитие;</li><li>сложные инженерные задачи и пространство для реализации собственных технических решений;</li><li>конкурентную компенсацию в соответствии с опытом и экспертизой;</li><li>отпуска, больничные и другие социальные гарантии согласно нормам действующего трудового законодательства;</li><li>бронирование.</li></ul> <div> <a href="https://jobs.dou.ua/companies/twist-robotics/vacancies/379963/#reply-btn-id">Откликнуться на вакансию</a> </div>