Инженер данных в Отдел технологий инжиниринга данных

Что предстоит делать

Навыки: Git, SQL, PostgreSQL, ETL, Jenkins, Oracle, Python, Apache Hadoop. Квалификация: Middle. Специализации: Инженер по данным. ## О компании и команде - Разработка библиотеки инструментов обработки данных для моделей машинного обучения; - Разработка сервисов и ETL процессов обработки данных для их использования в моделях машинного обучения; - Изучение и внедрение методов и практик автоматизации инжиниринга данных; - Эффективное взаимодействие в составе команды со специалистами по интеллектуальному анализу данных (DS) и специалистами по развитию инфраструктуры (MLOps, ML-инженеры). ## Наши пожелания к кандидатам: **Технические знания и опыт:** - Высокий уровень знаний языка программирования Python – структуры данных, итераторы и декораторы, параллельное и асинхронное программирование, объектно-ориентированное и функциональное программирование; - Отличные знания SQL – создание сложных запросов с использованием табличных выражений (CTE) и оконных функций; - Опыт работы в Agile-команде (Scrum, Kanban) - участие в планировании задач и оценка сроков их выполнения, ведение задач в Jira c уточнением требований и отражением текущего прогресса по задачам, участие в ретроспективах; - Уверенное владение системой контроля версий git, знание практик работы с ветками кодовой базы (GitFlow или более современные альтернативы: GithubFlow, Trunk-Based Development); - Знание практик семантического версионирования кода; - Опыт разработки библиотек на Python, базовые знания CI/CD практик и процессов для сборки и поставки библиотек потребителям (uv-builder, Jenkins); - Опыт работы в среде JupyterLab/JupyterHub; - Опыт реализации промышленных отказоустойчивых сервисов ETL на Python для пакетной загрузки и трансформации данных с помощью Spark под управлением оркестраторов Apache Airflow, Argo Workflows; - Хорошие знания платформы Apache Spark – опыт использования библиотеки pyspark, влияние конфигурации приложения pyspark на производительность и эффективность обработки данных, отладка и анализ эффективности приложений pyspark с помощью Spark History Server; - Опыт асинхронного программного взаимодействия с веб-сервисами по REST API с использованием библиотек – aiohttp, httpx; - Хорошие знания и опыт использования реляционных баз данных Oracle, PostgreSQL; - Понимание особенностей обработки и хранения аналитических данных (OLAP), понимание отличий колоночных баз данных от строковых, знание колоночных форматов хранения данных – parquet, orc; - Хорошие знания и опыт использования хранилищ больших данных – Hadoop/HDFS, S3, форматы таблиц Hive, Iceberg. **Личностные и коммуникативные навыки:** - Проактивный подход к работе – способность и желание искать и предлагать методы и варианты решения задач; - Общий позитивный настрой и активная жизненная позиция; - Умение и желание работать в команде, делиться опытом с коллегами и учиться новым практикам; - Открытость в коммуникации трудностей, препятствующих решению задач. ## **Что мы предлагаем:** - Стабильную работу в одном из крупнейших банков страны; - Конкурентную заработную плату, соцпакет; - Условия для роста и развития (в т.ч. конференции, тренинги, внутренние программы развития); - Дружный коллектив единомышленников; - Передовой стек технологий, высокопроизводительное оборудование; - Возможность решать разнообразные прикладные задачи с выводом в промышленную эксплуатацию, возможность существенно влиять на результат (в т.ч. в бизнес-смысле) и способы его достижения (вплоть до внесения изменений в архитектуру); - Квартальный бонус по результатам работы; - ДМС, страхование жизни; - Корпоративное обучение.