Senior DWH Developer

Что предстоит делать

НСИС (Национальная страховая информационная система) - это ядро страхового рынка. Мы - 100% дочерняя компания Центрального банка РФ. Через нас проходит все: ОСАГО, КАСКО, ДСАГО, страхование жилья, ДМС. Мы - центральный узел, который обеспечивает работу страхования в стране. Если мы остановимся - страхование остановится. У нас highload-система, микросервисная архитектура из более чем 100 приложений, SLA доступности - 99,95% (чуть больше 4 часов в год на простои, и то не одномоментно). Интегрируемся с такими контрагентами как ГИБДД, РСА, Минцифры, МВД, Госуслуги, работаем на стыке бизнеса, госрегуляторов и технологий. И да, мы также реализуем и коммерческие продукты. Сейчас мы в поиске Разработчика корпоративного аналитического хранилища данных (Senior DWH Developer) Вам предстоит: • Разработка нового и развитие существующего функционала корпоративного аналитического хранилища данных на базе PostgreSQL + ClickHouse; • Оптимизация, рефакторинг и сопровождение существующих решений; • Проектирование, разработка и сопровождение ETL/ELT-процессов загрузки, трансформации и обработки данных, реализация бизнес-логики аналитического хранилища, разработка механизмов контроля качества данных; • Анализ требований бизнес-заказчиков, исследование источников данных и участие в проектировании моделей данных; • Участие в разработке архитектурных решений корпоративного хранилища данных, выборе технологий и инструментов ETL/DWH; • Подготовка архитектурной, технической и эксплуатационной документации, документирование ETL/ELT-процессов и реализованных технических решений; • Взаимодействие с командами разработки, аналитики, тестирования и эксплуатации при реализации проектов; • Участие в выводе решений в промышленную эксплуатацию, приемо-сдаточных и нагрузочных испытаниях. Для этого Вам потребуется: • Опыт разработки корпоративных аналитических хранилищ и ETL/ELT-процессов на PostgreSQL от 3 лет; • Опыт разработки аналитических витрин на ClickHouse от 2 лет; • Опыт проектирования слоев DWH: Staging, ODS, детальный слой и витрины данных; • Практический опыт разработки ETL/ELT-процессов; преимуществом будет опыт работы с промышленными ETL/ELT-платформами и инструментами интеграции данных (Apache Hop, Pentaho Data Integration, Oracle Data Integrator и т.п.); • Опыт реализации инкрементальных загрузок: CDC, Delta, SCD Type 2, обработка поздно поступающих данных; • Понимание подходов Data Vault, Kimball и Anchor Modeling; • Экспертное знание SQL и PL/pgSQL, внутреннего устройства PostgreSQL и методов оптимизации запросов и производительности; • Уверенное знание ClickHouse: колоночное хранение, семейство MergeTree, фоновые слияния и выбор движка под задачу; • Уверенное владение Python, опыт разработки надежных загрузчиков с логированием, обработкой ошибок и retry-механизмами; • Практический опыт разработки DAG в Apache Airflow, понимание Scheduler, Executor, Hooks, Operators, Sensors, передачи параметров и идемпотентности задач; • Понимание принципов работы и областей применения реляционных и колоночных СУБД, MPP-платформ, in-memory СУБД, Data Lake и SQL движков; • Опыт работы с Git, Jira, Confluence и инструментами CI/CD, включая Jenkins, GitLab CI и Liquibase; • Знание современных подходов к разработке, тестированию и документированию DWH; • Опыт работы по Agile/Scrum или Waterfall. Soft skills: Управленческие способности Аналитическое мышление Внимательность к деталям Умение работать с документацией Коммуникабельность Способность работать в команде Архитектурные навыки: Проектирование архитектуры DWH Создание стратегии развития DWH Работа у нас: • Оформление согласно ТК РФ; • Уровень дохода обсуждается с успешным кандидатом (ЗП "белая") + премия по результатам работы; • График 5\2, гибкое начало, в пятницу сокращенный день; • Офисный, Удаленный или Гибридный формат работы; • Расширенный пакет ДМС (стоматолог, психолог, телемедицина); • Постоянное профессиональное внешнее и внутреннее обучение; • Возможность участвовать в масштабных и разнообразных проектах; • Насыщенная корпоративная культура (праздники, подарки, различные активности по интересам); • Удобный и современный офис с зонами отдыха в центре Москвы (2 минуты от м. Павелецкая).