Data Engineer (Lakehouse / Streaming)

Что предстоит делать

Мы проектируем и внедряем ключевые элементы архитектуры российского сегмента сети Интернет. Являемся разработчиком передовых программно-аппаратных комплексов для управления телеком-инфраструктурой. Входим в контур группы компаний ПАО «Ростелеком» и являемся стратегическим активом АО «Градиент». Наши аппаратные платформы развернуты на сетях передачи данных ведущих федеральных операторов связи. Разработка ведется в рамках стратегических государственных инициатив по цифровому суверенитету страны. Среди организаций, доверяющих нашим технологиям, — профильные ведомства федерального уровня: Роскомнадзор и Минцифры России. О проекте: Мы развиваем систему постанализа сетевого трафика, работающую с высоконагруженными потоками данных. Система агрегирует данные из сотен источников, обрабатывает входной стриминг на уровне сотен тысяч событий в секунду и продолжает масштабироваться — в ближайшее время планируется подключение более 10 дополнительных источников данных.

• Проектирование и реализация сложных batch и streaming пайплайнов в новом Lakehouse-стеке;
• Реализация и контроль технической части миграции Hadoop → S3/Iceberg;
• Проектирование схем хранения и оптимизация Iceberg-таблиц;
• Оптимизация Spark и Trino под highload и near-real-time требования;
• Разбор и устранение сложных инцидентов производительности;
• Внедрение и развитие практик Data Quality;
• Проведение код-ревью;
• Поддержка legacy-стека в части нестандартных или критичных кейсов.
• Что мы ожидаем:
• 1. Глубокая инженерная экспертиза.
• 5+ лет опыта в Data Engineering;
• Продвинутый опыт работы со Spark (batch и streaming);
• Практический опыт построения streaming-обработки (Spark Streaming или Flink);
• Отличное знание SQL и опыт оптимизации под большие объёмы данных;
• Опыт работы с Kafka;
• Уверенное владение Python (включая PySpark).
• 2. Работа с распределёнными системами.
• Опыт работы с distributed storage (HDFS, S3 или аналоги);
• Понимание принципов Data Lake / Lakehouse;
• Опыт проектирования таблиц под большие объёмы данных (partitioning, compaction, storage layout);
• Опыт работы с Iceberg / Delta Lake или понимание их принципов.
• 3. Миграция и модернизация платформ.
• Опыт участия в миграции или модернизации хранилища данных;
• Понимание рисков и подходов к поэтапной миграции без остановки продакшена;
• Опыт работы с legacy-системами (Hadoop / Hive) и их оптимизации.
• 4. Производительность и надёжность.
• Опыт оптимизации Spark-job’ов;
• Понимание причин деградации производительности в distributed-среде;
• Опыт работы с highload-потоками;
• Опыт внедрения и поддержки Data Quality механизмов;
• Понимание SLA витрин и требований к near-real-time обработке.
• 5. Техническое лидерство (execution-level).
• Опыт проектирования сложных пайплайнов;
• Опыт код-ревью;
• Способность самостоятельно принимать технические решения в рамках архитектуры;
• Умение декомпозировать сложные инженерные задачи.
• Будет плюсом:
• Опыт работы с Trino / Presto;
• Опыт работы с ClickHouse;
• Опыт работы с Kubernetes;
• Понимание практик Infrastructure as Code;
• Опыт работы с GitOps (Argo CD);
• Понимание различных моделей данных (Star/Snowflake, Data Vault, Anchor Modeling).
• Условия работы:
• Работа в аккредитованной IT компании;
• Трудоустройство в соответствии с ТК РФ;
• Белая заработная плата (оклад обсуждаем с успешным кандидатом после прохождения технического интервью);
• График работы: 5/2;
• Возможность работать удаленно;
• Офис находится в БЦ "Трио" на метро Динамо (или мцд Гражданская);
• И плюшки ниже :) ↴