Разработчик платформы отчетности

ОДИН ИЗ ЛУЧШИХ РАБОТОДАТЕЛЕЙ РОССИИ Мы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения. Приветствуем на странице нашей компании и благодарим за интерес к вакансии. Будем рады оказаться полезны друг другу. Сейчас мы расширяем команду, занимающуюся проектом по миграции данных из 87 источников на единую платформу. Команда входит в Центр компетенций BDS - одно из сильнейших подразделений нашей Компании, экспертов в области работы с большими данными, построения DWH и использующих в работе современный стек BigData: Greenplum, Hadoop, NiFi, Hive, Spark/Scala, PostgreSQL, Informatica, Kafka, Apache Airflow, Apache Griffin. ПРОЕКТ: Связан с разработкой платформы отчетности на базе технологии Lakehouse СТЕК проекта: StarRocks, dbt, Spark, Trino, Apache Iceberg, Nessie, Airflow, Kafka. Чем нужно будет заниматься: • построением платформы для отчетности на технологическом стеке Lakehouse (S3, Iceberg, StarRocks, Spark); • оптимизацией своего и чужого кода на SQL, Spark; • трансформацией данных с помощью DBT; • написанием эффективного кода на PySpark, отвечающего требованиям производительности; • настройкой и поддержкой DAG-ов в Airflow для оркестрации процессов; • тестированием и отладкой кода, обеспечением качества данных; • взаимодействием с командой и заказчиком по уточнению требований. Что мы хотели бы видеть: • глубокие знания SQL; • знание архитектуры Lake House, Iceberg, StarRocks, вопросов производительности; • опыт работы со Spark (от 2х лет), знание Pyspark, понимание Spark архитектуры; • опыт работы с Airflow (написание и поддержка DAG-ов); • понимание принципов распределенных вычислений (умение использовать нативные инструменты Spark); • понимание формата Parquet; • опыт работы с облачными хранилищами (S3 или аналоги); • умение работать в команде и следовать процессам заказчика. Было бы здорово, если бы был опыт работы с StarRocks, DBT, MS SQL, S3, Iceberg, Python, Kafka. Что ты приобретёшь, присоединившись к нам: • достойную оплату труда + компенсационные, стимулирующие и мотивационные выплаты, бонусы за участие в реферальной программе; • работа в команде профессионалов готовых делиться экспертизой; • официальное трудоустройство по ТК РФ, аккредитация IT, расширенный социальный пакет: ✔️ страховка ДМС (с 3-го месяца работы, стоматология, возможность подключения родственников, теле медицина, полис ВЗР), ✔️ сотрудникам со стажем в Neoflex более 3 месяцев при предоставлении листка нетрудоспособности устанавливается доплата до полного заработка за период болезни, ✔️ обучение детей сотрудников ИТ специальностям, ✔️ компенсация затрат на фитнес и занятия английским языком; • обеспечиваем техникой для работы (ноутбук, наушники, мышь); • профессиональное развитие - в Учебном Центре (курсы по работе с большими данными, видео лекции, тренажеры, карьерный коучинг, лекции, тренинги, конференции, участие в митапах); • возможность пройти проф.сертификацию; • прозрачную систему карьерного развития Performance Review; • персонального наставника с первого дня работы; • насыщенную корпоративную жизнь: яркие корпоративы, праздники для детей сотрудников, корпоративные спортивные мероприятия, мотивационные награждения; • комфортную атмосферу в филиалах компании в городах: Москва, Санкт-Петербург, Нижний Новгород, Пенза, Воронеж, Саратов, Самара, Краснодар где есть лаунж и фотозоны, вендинги в кухнях, пространство для медитаций и другие секретные места, о которых знают только наши сотрудники; • удалённый формат работы на территории России. Здесь мечты превращаются в реальность. Мы будем рады, если ты станешь частью нашей команды! Откликайся ;)