Старший инженер данных

Что предстоит делать

Навыки: ClickHouse, Greenplum, Apache Airflow, Apache Spark, ETL. Квалификация: Senior. Специализации: Инженер по данным. **«М.ТЕХ» - АККРЕДИТОВАННАЯ ИТ-КОМПАНИЯ В ГРУППЕ «М.ВИДЕО-ЭЛЬДОРАДО».** **КОМАНДА «М.ТЕХ»** разрабатывает более 100 инновационных ИТ продуктов на основе современной микросервисной и облачной инфраструктуры, больших данных, биометрии, ИИ и машинного обучения для улучшения качества жизни десятков тысяч сотрудников и миллионов покупателей по всей России. В конвейерную команду требуется **СТАРШИЙ ИНЖЕНЕР ДАННЫХ**, разработчик потоков данных. Разработка и поддержка потоков обработки данных: текущий стек: (Greenplum + ClickHouse + AirFlow) в планах обновление на (Trino + Iceberg), оптимизация ETL процессов, обеспечение надёжности и производительности pipeline. Мы работаем по принципам Agile, работаем на стеке технологий GreenPlum + ClickHouse + Tableau, занимаемся созданием ETL процессов, разработкой витрин, дашбордов, отчетов и других дата-продукты в рамках домена клиент. У нас много задач, много идей и действительно БОЛЬШИЕ объемы данных. Если ты имел опыт с инструментами/процессами из списка ниже и хочешь развиваться на нашем стеке, то подключайся к нашей команде - будем рады увидеть тебя! **СТЕК:** Greenplum/ClickHouse, Trino, Iceberg, Airflow, Data Lake, Kafka, Spark. **С НАМИ ТЫ БУДЕШЬ:** - Участие в проекте внедрения новой архитектуры DataLakeHouse на базе Trino+Iceberg. Создание своего ETL движка; - Оптимизация текущего аналитического хранилища (текущий размер 90+ Тб); - Миграция ключевых потоков (более 300) на новый ETL движок; - Автоматизация принятия решения по всем остальным пайплайнам более 1200. Разработка новых потоков. **ДЛЯ НАС ЦЕННО:** - Опыт работы в роли Data Engineer от 2-3  лет; - Владение SQL продвинутый уровень: сложные запросы, оптимизация, работа с партициями, индексами; - Опыт работы на фреймворке Spark; - Уверенное владение Python (обработка данных, скрипты, API); - Опыт работы с Trino / Iceberg / ClickHouse / Greenplum; - Навыки работы с Airflow — разработка DAG, настройка исполнителей, мониторинг. **КОГДА ТЫ С НАМИ:** - Мы предоставляем продукты, признанные на рынке (несколько премий за Лучший Интранет, хит-парад премий за лучшее ИТ-решение в ритейле) и имеющие амбициозные планы на развитие; - Получаешь **скидки **и специальные предложения компаний-партнёров; - Получаешь подписку **М.Комбо** – пакет привилегий: ежемесячные бонусные рубли, бесплатная доставка, скидки на установку/ремонт, приоритетную поддержку; - Ведем конструктивный диалог и даем возможность внедрять свои идеи, если они способствуют достижению общего результата; - У тебя будет команда увлеченных профессионалов, которая открыта к поиску нового; - Мы предлагаем конкурентную заработную плату, гибкое отношение к рабочему месту (посещение офиса в Москве на гибриде (Сколково, БЦ Орбион), но ты можешь работать удаленно из любой точки РФ); - Предоставляем ДМС со стоматологией.