Data Engineer (Big Data)

Что предстоит делать

<p><em><strong>Adaptiq, от имени AppsFlyer, ищет Data Engineer (Big Data)</strong></em></p><p><em><strong></strong></em></p><p><em><strong>О компании AppsFlyer:</strong></em></p><p>AppsFlyer предоставляет SaaS-платформу маркетинговой аналитики, которая измеряет и оптимизирует маркетинговые активности в мобильных приложениях, вебе, CTV, ПК и консолях. AppsFlyer известен своей масштабной backend-инфраструктурой. В любой момент времени тысячи серверов обрабатывают более 150 миллиардов событий мобильных приложений, анализируют данные пользователей, обслуживают запросы и взаимодействуют в огромных масштабах.</p><p>Для поддержания вселенной, которую мы называем AppsFlyer, мы практикуем современную эксплуатацию production-систем с полноценной self-serve CI/CD платформой, высокоинтегрированным стеком observability для наших микросервисов, бэкендов и инфраструктуры, а также культуру ответственности и стремления к качеству.</p><p>Группа Analytics отвечает за то, чтобы показывать нашим клиентам истории, которые рассказывают их данные. Благодаря сложной агрегации, специализированным аналитическим базам данных и тщательно разработанным API мы можем предоставлять многомерный анализ в наших красивых дашбордах и через внешние интеграции.</p><p><b> </b></p><p><em><strong>О роли:</strong></em></p><p>В качестве Data Engineer (Big Data) в группе Analytics в AppsFlyer вы будете отвечать за полный цикл обработки данных событий — от приема и обработки до хранения, моделирования и доставки через API.</p><p>Вы будете проектировать и реализовывать пайплайны данных с использованием Apache Airflow и Spark, выбирать и оптимизировать аналитические базы данных, а также интегрировать новые компоненты в нашу гибридную среду микросервисов. Вы будете сотрудничать с продакт-менеджерами и кросс-функциональными командами, устранять инциденты в production и влиять на нашу миграцию в Google Cloud и BigQuery. Эта роль предлагает автономию в проектировании функций, реальное влияние на платформу, обрабатывающую миллиарды событий ежедневно, и возможность вносить вклад в open-source проекты или выступать на отраслевых форумах.</p><p><b> </b></p><p><em><strong>Ключевые обязанности:</strong></em></p><ul><li>Разработка и поддержка пайплайнов обработки данных с использованием Apache Airflow, Scala Spark или PySpark.</li><li>Выбор, моделирование и оптимизация аналитических баз данных для высокопроизводительных запросов с низкой задержкой.</li><li>Проектирование и реализация backend-сервисов и API для приема, агрегации и потребления данных клиентами.</li><li>Мониторинг производительности и стабильности системы; диагностика и устранение проблем в production.</li><li>Сотрудничество с продакт-менеджерами и инженерами для планирования и реализации сложных функций.</li><li>Руководство усилиями по миграции на Google Cloud Platform, BigQuery и современные инструменты для работы с данными.</li><li>Участие в дежурствах on-call, оповещениях через PagerDuty и процедурах реагирования на инциденты.</li><li>Документирование архитектуры системы и потоков данных; поддержание качества кода и тестов.</li></ul><p><b> </b></p><p><em><strong>Требуемые компетенции и навыки:</strong></em></p><ul><li>3+ года практического опыта в создании и эксплуатации production Big Data систем.</li><li>2+ года подтвержденного опыта в проектировании, разработке и поддержке крупномасштабных распределенных пайплайнов обработки данных.</li><li>Сильный практический опыт работы с технологиями распределенной обработки данных, такими как Apache Spark или эквивалентные Big Data фреймворки.</li><li>Опыт работы с инструментами оркестрации рабочих процессов, такими как Apache Airflow или аналогичными.</li><li>Сильные навыки SQL и опыт проектирования моделей данных для аналитических нагрузок.</li><li>Знакомство с языками JVM (Scala, Java, Clojure) или Python для backend-разработки.</li><li>Опыт работы с облачными платформами и современными хранилищами данных, такими как Google Cloud Platform и BigQuery или аналогичными.</li><li>Опыт владения production-системами, включая мониторинг, устранение неполадок и реагирование на инциденты.</li><li>Отличные коммуникативные навыки и способность эффективно сотрудничать в распределенных инженерных командах.</li><li>Степень бакалавра в области компьютерных наук или эквивалентный практический опыт.</li></ul><p><em><strong>Будет плюсом:</strong></em></p><ul><li>Опыт работы с Google BigQuery в production, включая ETL-пайплайны и аналитические нагрузки.</li><li>Опыт разработки backend-сервисов на Go или Clojure.</li><li>Опыт участия в open-source проектах или выступлений на технических конференциях или митапах.</li><li>AI-мышление, включая практическое использование таких инструментов, как GitHub Copilot, Cursor, ChatGPT или аналогичных AI-ассистированных рабочих процессов разработки.</li></ul><p><b> </b></p><p><em><strong>Пакет льгот включает:</strong></em></p><ul><li>Медицинская страховка</li><li>Оплачиваемый неограниченный отпуск + все национальные праздники + дополнительные дни для отдыха</li><li>Компенсация питания</li><li>Компенсация спортивных занятий</li><li>Завтраки в офисе</li><li>Программа ментального здоровья</li><li>Тимбилдинги, happy hours и другие командные мероприятия</li><li>Оплачиваемые больничные дни</li><li>Снэки, фрукты и холодное пиво</li><li>Все новые члены команды получают новый Mac ноутбук с 2 мониторами и стартовый набор</li></ul> <div> <a href="https://jobs.dou.ua/companies/adaptiq/vacancies/366674/#reply-btn-id">Откликнуться на вакансию</a> </div>