Разработчик ХД/Data Engineer (middle+/senior)

Что предстоит делать

Rapporto – одна из крупнейших IT-компаний на рынке телекоммуникаций. Более 17 лет мы обслуживаем B2B-рынок. Наши продукты позволяют компаниям ежедневно общаться со своими клиентами через различные каналы коммуникаций: push-уведомления, мессенджеры, SMS-сообщения, IVR и другие. Среди клиентов: ВкусВилл, ЦУМ, Лэтуаль, Боксберри, Л’Окситан, ОТП Банк, Райффайзенбанк и другие. Нас 200 человек, у нас нет лишней бюрократии, работы ради галочки или микроменеджмента. Зато есть много сложных и интересных задач, быстрое принятие решений, а главное – у нас есть отличная команда! Чем предстоит заниматься в нашей команде: 1. Разработка и оптимизация сложных SQL-запросов: • написание эффективных, масштабируемых и поддерживаемых запросов на SQL и PL/pgSQL для аналитических и операционных задач; • диагностика и устранение узких мест в производительности: анализ планов выполнения (EXPLAIN ANALYZE), оптимизация JOIN-ов, агрегаций, подзапросов; • работа с оконными функциями, рекурсивными CTE, материализованными представлениями, партиционированием. 2. Глубокая работа с СУБД: • понимание архитектуры PostgreSQL: MVCC, WAL, vacuum, индексы (B-tree, GIN, GiST, BRIN), блокировки, транзакции, isolation levels; • понимание архитектуры ClickHouse: движки таблиц (MergeTree, ReplicatedMergeTree), партиционирование, сэмплирование, движки агрегации, колоночная модель, векторизованные вычисления; • настройка параметров СУБД для баланса между производительностью, надёжностью и ресурсопотреблением; • мониторинг и тюнинг производительности на уровне СУБД. 3. Проектирование и развитие структуры баз данных • разработка схем данных: нормализация/денормализация, выбор типов данных, проектирование первичных и внешних ключей; • проектирование масштабируемых и отказоустойчивых решений (репликация, шардирование в ClickHouse); • построение и поддержка Data Warehouse (DWH). 5. Интеграция с инструментами оркестрации и обработки • использование Apache Airflow (или аналогов) для оркестрации DAG-ов: написание, тестирование, мониторинг задач; • написание ETL-скриптов на Python (например, с использованием pandas, SQLAlchemy, clickhouse-driver, psycopg2). Что хотим видеть в Вас: 1.Экспертный SQL: • свободное владение сложными запросами, CTE, оконными функциями, агрегациями; • опыт написания и отладки PL/pgSQL (функции, триггеры, хранимые процедуры). 2. Глубокое понимание СУБД: • PostgreSQL: архитектура, индексы, транзакции, репликация, vacuum, настройка производительности; • ClickHouse: движки таблиц, колоночная модель, материализованные представления, оптимизация запросов под агрегации. 3. Опыт проектирования БД: • умение проектировать как OLTP, так и OLAP-структуры; • понимание компромиссов между нормализацией и производительностью. 4. Понимание архитектуры DWH: • знание слоёв DWH, подходов к моделированию; • опыт работы с измерениями и фактами. 5. Практический опыт ETL/ELT: • реализация пайплайнов загрузки данных в продакшне; • работа с инкрементальной загрузкой, обработка дублей, обновление исторических данных. Будет плюсом: 6. Apache Airflow: • написание DAG-ов, работа с операторами, сенсорами, XCom, pools, retries. • настройка и поддержка Airflow-кластера (опционально); 7. Python: • умение писать скрипты для обработки данных, интеграции с API, автоматизации; • знание библиотек: pandas, requests, pydantic, logging, асинхронность (при необходимости). 8. Инфраструктурные навыки: • базовое понимание Docker, Linux, мониторинга (Prometheus/Grafana), CI/CD.

Что предлагаем