Старший инженер по данным (Senior Data Engineer)

Что предстоит делать

<p>Вы будете старшим инженером в команде, которая владеет платформой обработки данных в реальном времени. Платформа превращает операционные события (заказы, местоположения водителей, переходы геозон, смены, события сессий MQTT) в живую аналитику, входные данные для маршрутизации и складируемые данные в Postgres/TimescaleDB, ClickHouse и BigQuery. Вы будете владеть платформой целиком: проектирование, реализация, развертывание и производственная эксплуатация потоковых задач, CDC-конвейеров, Kafka Connect-мостов и нижестоящих приемников, которые перемещают эти данные.</p> <h3>Обязанности</h3><p>— Проектирование, реализация и эксплуатация stateful-потоковых конвейеров Apache Flink: keyed state, оконные операции, водяные знаки, таймеры, боковые выходы, пользовательские источники/приемники.</p><p>— Проектирование, разработка, развертывание и сопровождение конвейеров Change Data Capture (CDC) с использованием Flink CDC или Debezium, перемещение изменений операционных баз данных в потоковую платформу с корректной обработкой снапшотов/инкрементальных изменений, эволюцией схем и идемпотентностью нижестоящих систем.</p><p>— Создание и эксплуатация конвейеров Kafka и Kafka Connect: проектирование топиков и партиций, source/sink-коннекторы в распределенном режиме, управление схемами и конвертерами, маршрутизация deadletter-сообщений.</p><p>— Владение путем Kafka → Flink → Postgres / TimescaleDB / ClickHouse / BigQuery, включая проектирование схем, стратегию идемпотентности, настройку пакетной обработки и наблюдаемость.</p><p>— Диагностика и устранение производственных проблем: сбои чекпоинтов, обратное давление, рост состояния, медленная работа приемников, колебания автоскалера, циклы перезапуска.</p><p>— Укрепление платформы: гарантии доставки, водяные знаки, обработка DLQ, миграции схем, покрытие алертами. * Code review и наставничество инженеров среднего уровня.</p><p>— Вклад в сторону развертывания: Helm-чарты, ArgoCD-приложения, конфигурация GKE, дашборды Grafana, правила алертов Prometheus.</p><p>— Влияние на направление: выбор бэкенда состояния, миграции схем, когда конвейер нужно разделить или перестроить.</p> <h3>Требования</h3><p>— 5+ лет профессионального опыта в разработке ПО/инженерии данных с сильными знаниями Java.</p><p>— Производственный опыт работы с Apache Flink и stateful-потоковыми конвейерами реального времени.</p><p>— Сильный опыт работы с Apache Kafka, включая Kafka Connect, consumer groups, партиции, гарантии доставки и управление схемами.</p><p>— Практический опыт работы с CDC с использованием Debezium или Flink CDC.</p><p>— Опыт проектирования и эксплуатации конвейеров Kafka → Flink → база данных/хранилище данных в производственной среде.</p><p>— Глубокое понимание PostgreSQL и опыт работы как минимум с одной аналитической базой данных, такой как ClickHouse или BigQuery.</p><p>— Опыт работы с Kubernetes и развертывания/эксплуатации производственных рабочих нагрузок с данными.</p><p>— Подтвержденная способность диагностировать и оптимизировать производственные потоковые системы — обратное давление, сбои чекпоинтов, рост состояния, задержки, лаг и производительность приемников.</p><p>— Глубокое понимание согласованности данных, идемпотентности, эволюции схем и наблюдаемости.</p><p>— Способность работать самостоятельно и владеть компонентом платформы данных целиком — от проектирования до производственной эксплуатации.</p> <h3>Будет плюсом</h3><p>— Опыт работы с TimescaleDB, гипертаблицами и данными временных рядов.</p><p>— Опыт работы с PostGIS и оптимизацией геопространственных/пространственных запросов.</p><p>— Глубокая настройка производительности ClickHouse, включая стратегии MergeTree и партиционирования.</p><p>— Сильный опыт оптимизации BigQuery и моделирования данных.</p><p>— Опыт работы с Flink Kubernetes Operator и настройкой автоскалера Flink.</p><p>— Опыт работы с ArgoCD, Helm, GKE, Prometheus и Grafana.</p><p>— Опыт проектирования высокопроизводительных систем реального времени с низкой задержкой в масштабе.</p><p>— Опыт работы с MQTT или IoT/событийно-ориентированными системами.</p><p>— Знание Kafka Schema Registry, Avro/Protobuf и продвинутой эволюции схем.</p><p>— Опыт наставничества инженеров и руководства техническими решениями в области потоковой архитектуры.</p><p>— Опыт работы с платформами маршрутизации, логистики, доставки, мобильности или геолокационными платформами будет особенно актуален.</p> <h3>Что мы предлагаем</h3><p>— 20 дней оплачиваемого отпуска, 5 дней больничного и государственные праздники.</p><p>— Гибкий график с высоким уровнем автономии.</p><p>— Возможность влиять на продуктовые и технические решения.</p><p>— Возможности профессионального роста и обучения.</p><p>— Комфортная рабочая среда с поддерживающей командой.</p> <div> <a href="https://jobs.dou.ua/companies/globaldevgroup/vacancies/370890/#reply-btn-id">Відгукнутись на вакансію</a> </div>