Инженер по данным

Навыки: ETL, Apache Hadoop, Apache Airflow. Специализации: Инженер по данным. **Banks Soft Systems** - системно значимая российская ИТ-компания, специализирующаяся на разработке, внедрении и поддержке решений по цифровизации клиентского обслуживания для банков, финтех-компаний, госсектора, телекома, ритейла, медицины, сферы ЖКХ в России и СНГ. Мы разрабатываем системы речевой аналитики, развиваем платформы дистанционного банковского обслуживания, а также оказываем услуги по заказной и аутсорс разработке. Мы практикуем наиболее востребованные рынком технологические решения: от машинного обучения до разработки 1С. **Чем нужно будет заниматься:** - Разработка ETL-процессов на базе прототипов и технических требований; - Изменение существующих ETL-процессов, согласно меняющимся бизнес-требованиям; - Продуктивизация кода, DQ-проверок, постановка на регламент, контроль работы ETL-процессов; - Оптимизация и рефакторинг кода на уровне запросов и конфигураций (SQL/Python/Spark/HDFS); - Взаимодействие с Системными аналитиками, Инженерами данных, Второй линией поддержки, DevOps, другими смежными подразделениями; - Оперативное решение инцидентов на уровне третьей линии поддержки; - Работа с Централизованным OLAP-хранилищем (Hadoop) и слоем репликации витрин данных (Greenplum). Также возможна работа с PostgreSQL, Teradata, Clickhouse и другими БД. **Что мы ждём от кандидата:** - Коммерческий опыт Data Engineer от 3-ёх лет; - Опыт разработки и сопровождения ETL-процессов в проде (batch-пайплайны, регламентная загрузка, поддержка после запуска); - Практический опыт работы с Hadoop-экосистемой: HDFS, Hive как SQL-движок, Spark (DataFrame / Spark SQL); - Уверенное владение SQL, включая оптимизацию запросов под большие объёмы данных (CTE, оконные функции, работа с большими объёмами, понимание explain / планов выполнения); - Умение использовать Python как инструмент ETL (data-скрипты, orchestration, transformations); - Опыт оркестрации пайплайнов в Airflow (DAG’и, retries, SLA, backfills); - Опыт анализа и устранения инцидентов в продуктивной среде (инциденты, падения джоб, анализ логов); - Понимание принципов построения DWH / Data Lake / Lakehouse. **Будет плюсом:** - Опыт работы с MPP-БД (Greenplum, ClickHouse, Teradata); - Опыт внедрения DQ-проверок; - Понимание принципов data governance и data security. **Что мы предлагаем:** - Полное соблюдение ТК РФ c первого дня работы и своевременная выплата заработной платы; - Удалённый формат работы по РФ; - Расширенный ДМС со стоматологией; - Бесплатное обучение английскому языку вам и вашим детям; - Скидки в фитнес-клубы; - Предоставляем всю необходимую технику для работы. **Откликайтесь и присоединяйтесь к нашей дружной команде!**