Архитектор BigData-дистрибутива

Что предстоит делать

Навыки: Apache Hadoop. Квалификация: Senior. Специализации: Архитектор программного обеспечения. Ищем Архитектора для проектирования и развития архитектуры продуктов Arenadata Hyperwave (ADH) и Arenadata Hyperwave Cloud (ADHC). Подробнее о продуктах тут - https://docs.arenadata.io/ru/landing-adh/index.html **Что нужно делать: ** - заниматься проектированием и развитием архитектуры Arenadata Hyperwave (ADH) - BigData-дистрибутива на базе экосистемы Apache: HDFS, YARN, Apache Ozone, Spark, Impala, Trino, Kyuubi, Flink; - заниматься проектированием и развитием архитектуры Arenadata Hyperwave Cloud (ADHC) - k8s-native версии платформы с разделением storage и compute; - проектировать интеграции compute-движков в k8s со stateful-слоем ADH; - разрабатывать k8s-операторы для сервисов платформы (развёртывание, масштабирование, апгрейды, CRD, Helm-чарты, контроллеры); - проектировать интеграции с Arenadata Streaming (Kafka, NiFi) и Arenadata Platform Security (Ranger, Kerberos, SSO) в гибридных конфигурациях ADH + K8s; - проводить R&D-исследования и подготавливать PoC-решения по развитию продуктов; - взаимодействовать с Technical Program Manager (TPM) и другими архитекторами для определения стратегии и плана действий по разработке единой платформы данных; - помогать в оценке новых технологий и инструментов для работы с данными; - составлять архитектурные документы и технические записки; - защищать и обосновывать архитектурные решения; - принимать непосредственное участие в процессах разработки и развития продуктов; - участвовать в code review; - проводить ревью пользовательской документации по продуктам. **Мы ждем, что вы: ** - имеете 8 лет опыта в области инженерии данных, платформ данных и аналитики; - умеете писать код на Java, Scala, Go, Python; - имеете опыт практической работы с различными СУБД от 3-х лет; - обладаете опытом проектирования распределенных, высоконагруженных систем; - работали с экосистемой Apache и имеете опыт с компонентами хранения: HDFS, Apache Ozone; - имеете опыт с распределёнными вычислениями на Apache Spark и понимаете его внутреннее устройство; - работали с SQL-движками поверх Hadoop (Hive, Trino, Impala); - имеете опыт работы с потоковой обработкой данных (Apache Kafka, Apache Flink); - обладаете экспертизой в оркестрации пайплайнов (Apache Airflow); - работали с табличными форматами Lakehouse (Apache Iceberg, Hudi, Delta Lake); - имеете опыт с безопасностью Big Data-кластеров (Apache Ranger, Kerberos, TLS, интеграция с LDAP/AD); - обладаете опытом работы с Kubernetes на уровне архитектуры и эксплуатации в проде; - разрабатывали Kubernetes-операторы, CRD, Helm-чарты; - запускали compute-движки в Kubernetes поверх внешнего stateful-слоя; - знаете принципы распределённого хранения и вычислений; - имеете опыт работы с Linux; - обладаете опытом проведения декомпозиции задач разработки; - настраивали CI/CD. **Будет плюсом: ** - коммиты в open source; - observability для Big Data (Prometheus, Grafana, OpenTelemetry, JMX exporters). **Условия: ** - официальное трудоустройство по ТК РФ; - возможность работать 100% удаленно или в офисе в Москве/Санкт-Петербурге; - гибкое начало рабочего дня (09:00 - 10:00 по Москве); - расширенный ДМС со стоматологией для сотрудника, компенсация 50% ДМС на детей; - предоставляем оборудование для работы (ноутбук, монитор).