Старший инженер данных (Kafka, Flink, AWS)

Что предстоит делать

<h3>Информация о компании</h3> <p>Наш клиент — ведущий глобальный провайдер центров обработки данных, предоставляющий решения для гипермасштабируемой и периферийной инфраструктуры в Северной и Южной Америке, EMEA и Азиатско-Тихоокеанском регионе. Имея 80+ центров обработки данных в 20+ странах, компания сотрудничает с лидерами отрасли, такими как Google, Oracle, NVIDIA и Microsoft Azure, обеспечивая работу цифровой инфраструктуры мира. Признанная лучшим работодателем по версии USA TODAY четыре года подряд, компания продолжает расширять свое глобальное присутствие и экосистему клиентов.</p><h3>Описание проекта</h3><p>Проект направлен на создание облачной платформы данных для обработки больших объемов данных с датчиков и телеметрии. Специалист будет помогать в разработке и эксплуатации возможностей обработки данных в реальном времени и аналитических данных, которые поддерживают дашборды, приложения и нижестоящих потребителей данных, а также вносить вклад в миграцию и развитие платформы в AWS.</p><h3>Технологии</h3><ul><li>Apache Kafka, Apache Flink</li><li>Java, Python, SQL</li><li>Apache Iceberg / Delta Lake / Hudi</li><li>Parquet, Avro, Schema Registry</li><li>Amazon Athena / Spark SQL</li><li>ClickHouse / Druid / Pinot</li><li>SQL Server / PostgreSQL</li><li>Kubernetes (Amazon EKS)</li><li>Helm, Argo CD, GitOps</li><li>Terraform, GitHub Actions</li><li>AWS (Amazon MSK, EMR Serverless, MWAA, S3, Athena, IAM)</li><li>LLM, Embeddings, Vector Search</li></ul><h3>Чем предстоит заниматься</h3><ul><li>Проектировать, создавать и эксплуатировать потоковые конвейеры реального времени с использованием Apache Kafka (Amazon MSK) и Apache Flink для высоконагруженных данных с датчиков и телеметрии;</li><li>Определять и управлять контрактами потоковых данных, включая схемы Avro и эволюцию схем через schema registry;</li><li>Создавать и поддерживать аналитические слои данных с использованием ClickHouse или аналогичных колоночных OLAP-баз данных, а также разрабатывать REST API для дашбордов, приложений и нижестоящих команд;</li><li>Разрабатывать и эксплуатировать пакетные и плановые рабочие процессы обработки данных с помощью Apache Airflow (Amazon MWAA);</li><li>Создавать и эксплуатировать data lakehouse на основе Apache Iceberg и Amazon S3, используя PySpark на EMR Serverless и Amazon Athena;</li><li>Развертывать и эксплуатировать контейнеризированные рабочие нагрузки данных на Kubernetes (Amazon EKS) с использованием Argo CD, Helm и практик GitOps;</li><li>Управлять облачной инфраструктурой как кодом с помощью Terraform и поддерживать автоматизацию CI/CD с помощью GitHub Actions;</li><li>Мониторить производственные платформы данных с помощью Prometheus и Grafana, устранять неполадки и участвовать в реагировании на инциденты;</li><li>Вносить вклад в инициативы по облачной миграции, перенося конвейеры данных с существующих платформ, включая платформы данных на базе Azure, в AWS;</li><li>Писать production-grade код на Java, Python и SQL с автоматизированным тестированием;</li><li>Использовать инструменты разработки с поддержкой ИИ для ускорения анализа и реализации, сохраняя качество кода и архитектурную целостность;</li><li>Поддерживать актуальность технической документации и операционных runbook;</li></ul><h3>Требования к кандидату</h3><ul><li>7+ лет опыта в области инженерии данных или разработки ПО, включая production-опыт работы со стриминговыми системами;</li><li>Способность работать самостоятельно в условиях неопределенности и быстро меняющейся среды;</li><li>Глубокий практический опыт работы с Apache Kafka и Apache Flink или эквивалентным фреймворком потоковой обработки, включая Java;</li><li>Отличные навыки работы с Python и SQL в транзакционных и аналитических базах данных;</li><li>Опыт работы с Apache Iceberg, Delta Lake или Hudi; Parquet, Avro, schema registries, Athena или Spark SQL;</li><li>Production-опыт работы с ClickHouse, Druid, Pinot или аналогичными аналитическими базами данных, а также с SQL Server или PostgreSQL;</li><li>Опыт работы с Kubernetes, Amazon EKS, Helm, Argo CD и GitOps;</li><li>Опыт работы с Terraform и GitHub Actions;</li><li>Глубокие знания сервисов AWS, включая MSK, EMR Serverless, MWAA, S3, Athena и IAM;</li><li>Знание основ ML, включая проектирование признаков (feature engineering), обучение и оценку моделей, а также требования к данным для ML;</li><li>Знакомство с LLM, workflow на основе промптов, эмбеддингами, векторным поиском, обнаружением аномалий и прогнозированием;</li><li>Опыт работы с observability, оповещениями, устранением неполадок и реагированием на инциденты;</li><li>Способность четко доносить технические решения до технических и нетехнических заинтересованных сторон;</li></ul><h3>Будет плюсом</h3><ul><li>Практические знания Azure Event Hubs, Data Factory и Synapse;</li><li>Опыт работы с OT или промышленной телеметрией, включая OPC UA, BMS/EPMS или данные временных рядов с датчиков;</li><li>Опыт миграции между облаками или из on-premises в облако;</li><li>Опыт работы с центрами обработки данных или другой критически важной инфраструктурой;</li><li>Знакомство с фреймворками качества данных, контрактами данных и управлением метаданными;</li></ul><h3>Что мы предлагаем</h3><p>Глобальный пакет льгот включает:</p><ul><li>Техническое и нетехническое обучение для профессионального и личностного роста;</li><li>Внутренние конференции и митапы для обучения у отраслевых экспертов;</li><li>Поддержку и менторство от опытного сотрудника для вашего профессионального роста и развития;</li><li>Медицинскую страховку;</li><li>Курсы английского языка;</li><li>Спортивные мероприятия для поддержки здорового образа жизни;</li><li>Гибкие варианты работы, включая удаленные и гибридные возможности;</li><li>Реферальную программу для привлечения новых талантов;</li><li>Программу поощрения за выслугу лет и дополнительные дни отпуска.<br><em>Обратите внимание: мы с уважением рассмотрим все заявки, но свяжемся только с кандидатами, прошедшими предварительный отбор</em></li></ul> <div> <a href="https://jobs.dou.ua/companies/issoft/vacancies/369760/#reply-btn-id">Откликнуться на вакансию</a> </div>