Инженер данных (ETL/ELT, Hadoop, ClickHouse)

Что предстоит делать

IT-компания GNIVC- партнер государственных компаний и лидеров российского бизнеса, разработчик и системный интегратор крупнейших государственных информационных систем, а также коммерческих решений для налогового мониторинга. • Компания входит в ТОП-100 лучших работодателей страны и на 9-м месте в категории «IT-компании» 2025 года по рейтингу работодателей hh среди крупных компаний • Мы в 25% лучших по уровню счастья среди компаний отрасли IT и России 2025 по версии Happy Job • У нас есть ИИ-песочница - среда для экспериментов и реальных проектов на современных опенсорс-больших языковых моделях. Здесь можно применять ИИ для оптимизации своей работы, автоматизации процессов и реализации собственных идей от гипотезы до результата • Являемся аккредитованной ИТ-компанией

• разработка и сопровождение процессов обработки данных;
• проектировать, разрабатывать и сопровождать ETL/ELT-процессы загрузки данных из источников в Озеро данных на базе Hadoop;
• разрабатывать и поддерживать пайплайны загрузки и трансформации данных, обеспечивать их стабильную работу и мониторинг;
• обеспечивать согласованность, полноту и качество данных на всех этапах жизненного цикла (сбор → хранение → трансформация → представление);
• работа с СУБД и хранилищами Проектировать и оптимизировать схемы хранения данных в PostgreSQL: таблицы, индексы, транзакции, процедуры;
• разрабатывать и сопровождать модели данных в ClickHouse: схемы таблиц, партиционирование, тиры хранения, материализованные представления;
• разрабатывать и сопровождать SQL-конфигурации для сборки цепочек событий процессов по задачам от аналитиков;
• заниматься тонкой настройкой тяжелых Spark-расчетов на кластере: искать узкие места через Spark UI, убирать лишние пересчеты и бороться с перекосами данных;
• поддерживать витрины данных для отчётов и аналитики заказчиков. Устранять узкие места производительности, выявлять и исправлять ошибки в данных;
• контролировать актуальность, корректность и доступность данных для потребителей;
• участвовать в проектировании архитектуры новых данных и хранилищ (ClickHouse, PostgreSQL, Elasticsearch) , выборе форматов и схем;
• Вести техническую документацию по схемам данных, процессам и регламентам. Соблюдать требования информационной безопасности и регламенты компании при работе с данными;
• автоматизировать рутинные операции по обработке и контролю данных. Участвовать в настройке мониторинга пайплайнов и своевременной реакции на сбои загрузки данных.

Что ждём от вас

• уверенное знание SQL (JOIN'ы, подзапросы, оконные функции, CTE, настройка планов выполнения);
• опыт работы с PostgreSQL: проектирование БД, оптимизация запросов, работа с индексами, транзакциями и нагрузкой;
• опыт работы с ClickHouse: моделирование таблиц, партиционирование, тиры хранения, оптимизация распределённых запросов;
• опыт работы с Озером данных на базе Hadoop: понимание архитектуры HDFS и форматов хранения (Parquet, ORC, Avro);
• опыт разработки ETL/ELT-процессов и пайплайнов данных;
• понимание принципов обработки больших данных и жизненного цикла данных (сбор → хранение → трансформация → предоставление);
• знакомство с Spark / Hive / HDFS на практическом уровне;
• опыт с инструментами оркестрации (Airflow, NiFi и т.п.). Знакомство с потоковой обработкой (Kafka, ClickHouse);
• базовое понимание Docker, Linux, Git. Опыт с BI-инструментами и витринами данных для аналитики. Навыки работы с Python (для скриптов обработки/автоматизации). Активно использовать ИИ-инструменты (ассистенты для написания и проверки кода) в повседневной работе;
• применять ИИ для ускорения рутинных задач: написание/рефакторинг SQL, генерация и проверка ETL-сценариев, объяснение ошибок. Владеть практикой промптирования: формулировать задачи для ИИ-ассистентов и критически проверять их выдачу;
• использовать ИИ для анализа данных и самопроверки результатов. Соблюдать требования информационной безопасности при работе с ИИ (не передавать чувствительные данные.

Что предлагаем