Старший Data Engineer (Data Ingestion and Enrichment)

Что предстоит делать

<p><b>Мы движем прогресс людей.</b> В Preply мы стремимся создавать меняющие жизнь учебные впечатления. Мы помогаем людям найти идеального репетитора, выстроить персонализированный путь обучения и сохранять мотивацию для дальнейшего роста. Наш подход основан на человеческом участии и технологиях — и он приносит реальные результаты. На сегодняшний день 90 000 репетиторов провели более 20 миллионов уроков для учащихся в более чем 175 странах. Каждый урок Preply вызывает перемены, подпитывает амбиции и движет прогрессом, который имеет значение.</p><h3><b>Познакомьтесь с командой!</b></h3><p>В Preply команда Data ingestion and enrichment (Сбора и обогащения данных) предоставляет единую, надежную и масштабируемую основу для данных. Команда гарантирует, что вся аналитика, машинное обучение и продуктовые функции строятся на унифицированных, управляемых и готовых к промышленной эксплуатации активах данных в Lake House Preply, включая извлечение, нормализацию и генерацию структурированных данных из неструктурированных активов Preply, формируя устойчивый защитный ров данных для AI-продуктов.</p><p>В качестве <b>Senior Data Engineer в команде Data Ingestion and Enrichment</b> вы будете проектировать и владеть уровнем данных, который обеспечивает работу как аналитики, машинного обучения, так и продукта Preply. Вы будете тесно сотрудничать с ML Platform, Applied/Data Scientists, Analytics Engineering и продуктовыми командами, чтобы гарантировать, что функции, наборы данных и пайплайны готовы к промышленной эксплуатации, наблюдаемы и пригодны для повторного использования во всей компании. Эта роль сочетает в себе практическую инженерию с техническим лидерством.</p><h3><b>Чем вы будете заниматься:</b></h3><p><b>Создание надежных основ для сбора и обогащения (Data Lake и Data as a Product):</b></p><p>Проектирование, создание и владение Data Lake Preply. Обеспечение того, чтобы каждый набор данных имел четкого владельца, цель, схемы и ожидания по качеству, начиная с первого сбора и заканчивая потреблением downstream-командами аналитики, продукта и ML. Относитесь к доверию, корректности и предсказуемости как к функциям первого класса платформы.</p><p><b>Владение сквозными пайплайнами сбора (batch & streaming):</b></p><p>Разработка и эксплуатация масштабируемых, надежных пакетных и потоковых пайплайнов сбора, поддерживающих как сценарии реального времени, так и аналитические. Проектирование четких слоев: raw → standardized → consumption с явными зонами ответственности, происхождением данных и стратегиями хранения. Балансирование производительности, стоимости и надежности по мере масштабирования платформы.</p><p><b>Качество данных, контракты и ранняя валидация:</b></p><p>Определение и внедрение контрактов данных между производителями и потребителями, охватывающих гарантии схемы, свежести, объема и качества. Встраивание валидации, обнаружения аномалий и проверок качества на ранних этапах жизненного цикла сбора, чтобы выявлять проблемы до их распространения. Стандартизация того, как метрики качества измеряются, отслеживаются и отображаются на платформе.</p><p><b>Обогащение, моделирование и управление жизненным циклом:</b></p><p>Создание логики обогащения, которая объединяет, стандартизирует и контекстуализирует данные из разных доменов, используя общие определения и повторно используемые шаблоны. Поддержка исторического отслеживания, корректности на определенный момент времени и версионирования наборов данных, чтобы downstream-пользователи могли уверенно анализировать изменения и их влияние с течением времени.</p><p><b>Наблюдаемость, надежность и операционное совершенство:</b></p><p>Инструментирование пайплайнов сбора с помощью сильной наблюдаемости: метрики свежести, задержки, качества данных и стоимости. Вклад в SLO, оповещения и playbooks для реагирования на инциденты, чтобы сбои данных были видимыми, диагностируемыми и восстанавливаемыми. Помощь в переходе платформы от реактивного тушения пожаров к проактивному управлению надежностью.</p><p><b>Управление и соответствие требованиям по дизайну:</b></p><p>Применение последовательного контроля доступа, классификации и защиты конфиденциальности на этапе сбора. Обеспечение того, чтобы конфиденциальные данные по умолчанию были должным образом замаскированы, минимизированы или анонимизированы, и чтобы все потоки данных были проверяемыми и отслеживаемыми. Сделать управление незаметным для пользователей, но глубоко встроенным в рабочие процессы платформы.</p><p><b>Обеспечение самообслуживания и стандартизации:</b></p><p>Вклад в стандартизированные шаблоны сбора, общие библиотеки и инструментарий платформы, которые позволяют командам самостоятельно подключать новые источники данных в рамках четких ограничений. Улучшение обнаруживаемости, документации и метаданных, чтобы наборы данных было легко находить, понимать и доверять им, не полагаясь на неписаные знания.</p><p><b>Межкомандное сотрудничество и владение:</b></p><p>Тесная работа с партнерами из Product, Backend, Analytics и ML для согласования требований к сбору, компромиссов и приоритетов. Продвижение общей ответственности за качество данных и стандарты платформы, а также содействие культуре, где команды быстро движутся вместе в рамках общих контрактов и принципов работы с данными.</p><h3><b>Что нужно для успеха:</b></h3><ul><li>Опыт работы и построения архитектурных паттернов крупномасштабного приложения с высокой нагрузкой (например, хорошо спроектированные API, пайплайны данных с большими объемами, эффективные алгоритмы).</li><li>Солидный опыт работы в командах платформенной инженерии или инженерии данных (или эквивалентный вклад) с подтверждением руководства поставками с участием множества заинтересованных сторон.</li><li>Знакомство с облачными платформами (AWS/GCP или эквивалент) и современными DevOps-практиками.</li><li>Практический опыт проектирования и внедрения инфраструктур обработки данных в реальном времени и пакетной обработки с использованием современных фреймворков, таких как Spark, Flink, Spark streaming, Kafka, Debezium и т.д.</li><li>Экспертиза в инструментах оркестрации, таких как Airflow, dbt или аналогичных.</li><li>Исключительные навыки решения проблем в сочетании с проактивным, инновационным мышлением, ориентированным на постоянное улучшение.</li><li>Отличные навыки коммуникации и межфункционального сотрудничества (уровень английского B2+).</li></ul><p><b>Будет плюсом:</b></p><ul><li>Подтвержденный опыт масштабирования инфраструктур данных в быстрорастущих стартапах.</li><li>Terraform/Kubernetes для инструментов работы с данными.</li><li>Владение SQL.</li></ul><h3><b>Почему вам понравится в Preply:</b></h3><ul><li>Открытая, совместная, динамичная и разнообразная культура;</li><li>Щедрая ежемесячная стипендия на уроки на <a href="http://preply.com" target="_blank">Preply.com</a>, бюджет на обучение и развитие, а также выходные для саморазвития.</li><li>Конкурентоспособный финансовый пакет с опционами на акции, отпускными и медицинской страховкой;</li><li>Доступ к бесплатным платформам поддержки психического здоровья;</li><li>Возможность раскрыть потенциал учащихся и репетиторов через изучение и преподавание языков в 175 странах (и это число растет!).</li></ul><h3><b>Наши принципы</b></h3><ul><li><b>Стремление изменить мир</b> — Мы увлечены своей работой и глубоко заботимся о ее влиянии, чтобы она меняла жизнь.</li><li><b>Мы делаем это для учащихся</b> — И для Preply, и для репетиторов учащиеся — это причина, по которой мы делаем то, что делаем. Каждый день мы сосредоточены на предоставлении репетиторам возможности обеспечить исключительный опыт обучения.</li><li><b>Постоянное совершенствование</b> — Чтобы создать выдающийся клиентский опыт, мы фокусируемся на простоте, плавности и удовольствии, постоянно совершенствуя его, потому что каждая деталь имеет значение.</li><li><b>Сейчас самое время</b> — В быстро меняющемся мире важно, как быстро мы действуем. Сейчас самое время, чтобы совершать великие дела.</li><li><b>Дисциплинированное исполнение</b> — То, что делает нас дисциплинированными, — это совершенство в нашем исполнении. Мы ставим четкие цели, сосредотачиваемся на важном и эффективно используем наши ресурсы.</li><li><b>Погружение вглубь</b> — Мы используем деловую хватку и любопытство для изучения расхождений между цифрами и историями, открывая значимые идеи для руководства нашими решениями.</li><li><b>Мышление роста</b> — Мы активно ищем возможности для роста и верим, что сегодняшняя лучшая производительность становится отправной точкой для завтрашнего дня. Мы скромно принимаем обратную связь и учимся на неудачах.</li><li><b>Повышение планки</b> — Мы постоянно повышаем наши стандарты производительности вместе с каждым новым наймом и повышением. Мы строим разнообразные и высокоэффективные команды, которые могут добиться реальных изменений.</li><li><b>Бросай вызов, не соглашайся и бери на себя обязательства</b> — Мы ценим открытое и откровенное общение, даже когда не полностью согласны. Мы высказываем свое мнение, бросаем вызов, когда необходимо, и полностью берем на себя обязательства после принятия решений.</li><li><b>Один Preply</b> — Мы ставим сотрудничество, инклюзивность и успех нашей команды выше личных амбиций. Вместе мы поддерживаем и празднуем прогресс друг друга.</li></ul><h3><b>Разнообразие, равенство и инклюзивность</b></h3><p>Preply стремится создать разнообразную и инклюзивную среду, где люди любого происхождения могут процветать. Разные мнения и точки зрения являются ключевыми ингредиентами нашего успеха как мультикультурной Ed-Tech компании.</p><p>Preply будет рассматривать все заявки на трудоустройство без учета расы, цвета кожи, религии, гендерной идентичности или самовыражения, сексуальной ориентации, национального происхождения, инвалидности, возраста или статуса ветерана. Вместе мы — The World Class.</p> <div> <a href="https://jobs.dou.ua/companies/preply/vacancies/344175/#reply-btn-id">Откликнуться на вакансию</a> </div>