Инженер по автоматизации тестирования Big Data

Что предстоит делать

• Автоматизировать тестирование компонентов Arenadata Hyperwave (ADH) и Arenadata Hyperwave Cloud (ADHC): Spark, Impala, Trino, Kyuubi, Hive, HBase, Ozone, HDFS, YARN, Airflow, Flink;
• Тестировать развёртывание и эксплуатацию платформы на bare metal, VM и в Kubernetes;
• Разрабатывать и развивать тестовые фреймворки на Python для распределённых Big Data-систем;
• Писать интеграционные и e2e-тесты на реальных кластерах: функциональность, отказоустойчивость, производительность;
• Поддерживать и развивать CI/CD-пайплайны автотестов;
• Работать с разработчиками, архитекторами и QA над качеством релизов;
• Делать код-ревью тестового кода.
• Наши ожидания:
• 1. Python и проектирование
• Коммерческая разработка на Python от 4 лет;
• SOLID, DRY, KISS и умение применять их при проектировании тестовых фреймворков;
• Паттерны проектирования (Factory, Strategy, Builder, Resource Object) для гибких и масштабируемых решений;
• Pytest на экспертном уровне: сложные фикстуры, параметризация, плагины (pytest-xdist и другие).
• 2. Инфраструктура и Linux
• Linux (Core Utils, Bash): файловые системы, права, процессы, сетевые утилиты;
• Тестирование систем развёртывания и конфигурации распределённого ПО, плюсом будет Ansible, Terraform или Puppet;
• Сетевой бэкграунд: HTTP(S), TCP/IP, SSH, сертификаты.
• 3. CI/CD
• Настройка и поддержка CI/CD-пайплайнов (Jenkins, GitLab CI, TeamCity, GitHub Actions).
• 4. Kubernetes и cloud-native (будет плюсом)
• Docker и Kubernetes на уровне эксплуатации и отладки;
• Понимание развёртывания stateful и stateless Big Data-сервисов в Kubernetes;
• Тестирование Kubernetes-операторов, работа с kubectl, Helm, kind/minikube.
• Будет плюсом
• Опыт работы с дистрибутивами Hadoop (Arenadata, Cloudera CDP/CDH, Hortonworks HDP, MapR);
• Практический опыт с Apache Spark, Trino, Impala, Kafka — запросы, джобы, разбор инцидентов;
• Аутентификация и авторизация в распределённых системах: Kerberos, LDAP, Ranger, TLS/mTLS.