Инженер данных (Data Engineer) в команду DataOS

Что предстоит делать

<p>Команда DataOS в AppsFlyer создает и поддерживает надежную высоконагруженную платформу данных, которая обеспечивает аналитические и продуктовые возможности по всей компании.<br>Мы обрабатываем более 150 миллиардов событий в день и управляем историческими данными объемом в петабайты. Наша команда владеет гораздо большим, чем традиционное «озеро данных» (data lake) — включая управление схемами, ETL-пайплайны и интерфейсы для взаимодействия с хранилищем и от него.</p><p>Если вас вдохновляют масштаб, ответственность и создание продакшн-систем для работы с данными, мы будем рады познакомиться.</p><p>Основные технологии стека</p><h3><strong>Ключевые технологии включают:</strong></h3><ul><li>Обработка и потоковая передача: Spark, Kafka</li><li>Озеро данных и форматы: S3, Parquet, Delta Lake, Iceberg, Hadoop, Hive</li><li>Облако и вычисления: AWS, EMR/EMR Serverless, Athena</li><li>Аналитика и платформы данных: BigQuery, BigLake, Aerospike, AWS Glue, Databricks Delta Engine</li><li>Языки: Scala, Python (основной фокус команды), а также более широкая мультиязычная инженерная среда в AppsFlyer</li></ul><h3><strong>Чем вы будете заниматься:</strong></h3><ul><li>Проектировать, создавать и развивать крупномасштабные пайплайны данных — от первичной загрузки до наборов данных, готовых к использованию в продакшне.</li><li>Разрабатывать и поддерживать рабочие процессы обработки данных на Spark/Scala как для пакетных, так и для потоковых сценариев.</li><li>Отвечать за надежность, качество и производительность платформы данных в продакшн-средах.</li><li>Сотрудничать с инженерами, владельцами продуктов и заинтересованными сторонами для определения и реализации надежных решений для работы с данными.</li><li>Помогать формировать инженерные стандарты и операционные практики по мере роста команды DataOS.</li></ul><p><strong>Что вы привносите:</strong></p><ul><li>Опыт разработки ПО от 3+ лет с сильными практическими навыками работы со Scala и/или Java.</li><li>Отличное знание основ Java Core.</li><li>Подтвержденный опыт работы со Spark и Kafka в продакшн-средах.</li><li>Опыт работы с экосистемой Hadoop и распределенными платформами обработки данных (AWS, GCP, Azure, CDP, MapR или аналогичными).</li><li>Практический опыт работы с AWS, особенно с S3 и EMR/EMR Serverless (Athena будет весомым преимуществом).</li><li>Опыт создания и эксплуатации облачных высоконагруженных распределенных систем.</li><li>Развитые аналитические и коммуникативные навыки, способность эффективно взаимодействовать с инженерными и бизнес-командами.</li><li>Профессиональный устный и письменный английский язык.</li></ul><p><strong>Дополнительные плюсы:</strong></p><ul><li>Знание Scala будет преимуществом.</li><li>Опыт работы с аутентификацией/авторизацией AWS и основами облачной безопасности.</li><li>Опыт работы с CI/CD-пайплайнами и инструментарием.</li><li>Опыт работы с DevOps и инструментами Infrastructure as Code (например, Terraform).</li><li>Опыт работы в SaaS-компаниях.</li><li>Рекомендация от сотрудника AppsFlyer.</li></ul><p><strong>Преимущества:</strong></p><ul><li>Медицинская страховка</li><li>Оплачиваемый неограниченный отпуск + все государственные праздники + дополнительные дни для отдыха</li><li>Компенсация расходов на питание</li><li>Компенсация спортивных расходов</li><li>Завтраки в офисе</li><li>Программа поддержки ментального здоровья</li><li>Тимбилдинги, корпоративы и другие командные мероприятия</li><li>Оплачиваемые больничные</li><li>Снэки, фрукты и холодное пиво</li><li>Все новые члены команды получают новый ноутбук Mac с 2 мониторами и стартовый набор</li></ul><p> </p><p>Будучи глобальной компанией, работающей из 25 офисов в 19 странах, мы отражаем человеческую мозаику разнообразного и мультикультурного мира, в котором мы живем. Мы обеспечиваем равные возможности для всех наших сотрудников и способствуем найму разносторонних талантов в наши глобальные команды без учета расы, пола, культуры или сексуальной ориентации. Мы ценим и поощряем любознательность, разнообразие и инновации со стороны всех наших сотрудников, клиентов и партнеров.</p> <div> <a href="https://jobs.dou.ua/companies/appsflyer/vacancies/360411/#reply-btn-id">Відгукнутись на вакансію</a> </div>