Platform Administrator (Databricks)

Что предстоит делать

Nitka Technologies разрабатывает программное обеспечение для заказчиков в США и Европе и объединяет около 300 специалистов из Восточной Европы, Северной и Южной Америки, Армении, Грузии и Казахстана. Мы ищем опытного Platform Administrator (Databricks) для долгосрочного проекта. Заказчик — компания из Калифорнии, лидер отрасли по продаже билетов на мероприятия в Европе и США. Мы предлагаем 100% удалённую работу на полную ставку. Основные задачи: • Управление несколькими рабочими пространствами Databricks (dev/qa/prod); • Настройка политик кластеров, governance и compliance; • Создание и поддержка объектов unity catalog: каталоги, схемы, гранты, service principals, внешнее хранилище и т.д.; • Мониторинг и отладка неудачных / длительно выполняющихся заданий с использованием системных таблиц (job_run_timeline, node_timeline, workflow_run); • Устранение неполадок при сбоях кластеров, driver OOM, отказах executor, утечках памяти; • Исследование ошибок Python / Spark, конфликтов зависимостей (PyPI, WHL, Maven) • Помощь пользователям в настройке кластеров/заданий, ошибках notebook, разрешениях unity catalog; • Разъяснение ограничений платформы и лучших практик Data-инженерам; • Ведение страниц в confluence с правилами платформы и руководствами по устранению неполадок;

Что ждём от вас

• Опыт в внедрении, интеграции или технической поддержке;
• Опыт работы с Linux, Bash;
• Уверенные навыки SQL;
• Большой опыт работы с инфраструктурой AWS (ec2, s3, iam, vpc, secret management, sqs);
• Опыт работы с Python, достаточный для написания небольших скриптов или приложений;
• Опыт поддержки заданий и сред Databricks;
• Опыт работы с REST API/SDK;
• Понимание файловых баз данных (DeltaLake, Parquet, Hive);
• Понимание типов кластеров и семейств узлов;
• Разговорный английский на уровне Intermediate или выше;
• Будет плюсом:
• Databricks REST API / Databricks SDK;
• Работа с schema evolution, time travel, vacuum, compaction, z-order;
• Отладка повреждённых delta-таблиц (конфликтующие коммиты, tombstones, отсутствующие checkpoints);
• Понимание реализации acid поверх объектного хранилища;
• Знание Spark (задания, партиции, запросы), опыт работы с Kafka или аналогичной технологией, знакомство с Terraform / Gitlab CI;
• Мониторинг затрат на сервисы и объекты платформы;
• Опыт работы с корпоративными Data-платформами;
• Условия работы:
• Удалённая работа без тайм-трекеров, гибкий график
• Полная занятость (8 часов в день)
• Привлекательная компенсация в USD
• Оплачиваемый отпуск, праздничные дни, больничные