Старший Data Engineer

Что предстоит делать

<h3><strong>О НАС</strong></h3><p>Мы — многократно награжденная команда из более чем 100 инженеров, дизайнеров и аналитиков, базирующаяся в Лестере, с центрами разработки в Украине и Испании. Мы специализируемся на заказной разработке программного обеспечения, расширении команд/аутстаффинге и поддержке как услуге.</p><p><br><strong>НАШ КЛИЕНТ</strong></p><p>Наш партнер — ведущая европейская платформа для покупки и продажи книг, компакт-дисков, фильмов, игр и товаров моды.<br>Компания способствует успеху, объединяя команду профессионалов с разным опытом, которые сотрудничают, чтобы воплощать смелые идеи в жизнь и находить инновационные решения.<br><br>Мы ищем <strong>Data Engineer</strong> для присоединения к команде <strong>Evolved Ideas</strong>.</p><p>В роли Senior Data Engineer вы будете отвечать за один из наших наиболее критически важных для бизнеса активов данных: систему, которая связывает идентификационные данные клиентов в наших бизнесах и обеспечивает более эффективные решения в маркетинге, CRM, отчетности и аналитике. Вы присоединитесь к нашей команде Business Intelligence & Data Engineering и будете тесно работать с Data Engineer и Business Analyst, чтобы создавать надежные, масштабируемые и заслуживающие доверия данные об идентификации клиентов.</p><h3><strong>Ваша миссия</strong></h3><ul><li>Отвечать за сквозной пайплайн, который создает единый customer_uuid в сегментах Books & Media и Fashion</li><li>Поддерживать и развивать наши мастер-данные об идентификации клиентов с особым акцентом на точность, надежность и качество в production</li><li>Улучшать нашу вероятностную модель разрешения идентификаторов и делать решения по сопоставлению измеримыми, прозрачными и объяснимыми</li><li>Создавать масштабируемые и экономически эффективные пайплайны данных с использованием BigQuery, GCS и Cloud Run Jobs</li><li>Внедрять диагностику, мониторинг и структурированную валидацию для каждого релевантного изменения модели</li><li>Выявлять и устранять пограничные случаи в логике сопоставления клиентов до того, как они станут проблемами в production</li><li>Тесно работать с бизнес- и техническими заинтересованными сторонами, чтобы превращать сложные задачи сопоставления в надежные решения для работы с данными</li></ul><h3>Наш технологический стек</h3><ul><li>BigQuery</li><li>SQL</li><li>Python</li><li>Airflow</li><li>Splink</li><li>Google Cloud Storage</li><li>Cloud Run Jobs</li><li>Pub/Sub<br><br></li></ul><h3>Ваш профиль</h3><p><strong>Обязательно:</strong></p><ul><li>5+ лет опыта в production data engineering</li><li>Уверенный опыт работы с BigQuery и продвинутым SQL в крупномасштабных аналитических средах</li><li>Сильные навыки Python для production-grade data engineering</li><li>Уверенный опыт работы с Airflow и глубокое понимание надежных шаблонов оркестрации</li><li>Практический опыт работы с инкрементальными пайплайнами и идемпотентной обработкой данных</li><li>Опыт работы с вероятностным связыванием записей или разрешением сущностей в production</li><li>Глубокое понимание качества данных, логики сопоставления и компромиссов между точностью и полнотой</li><li>Аккуратный, структурированный и ответственный подход к работе</li><li>Отличные коммуникативные навыки и способность четко объяснять технические решения</li></ul><p><strong>Будет плюсом:</strong></p><ul><li>Опыт работы с Splink и инструментами вероятностного связывания записей</li><li>Опыт работы с Cloud Run Jobs, GCS и событийно-ориентированными шаблонами в GCP</li><li>Опыт работы с Pub/Sub как источником в пайплайнах данных</li><li>Знакомство с компромиссами форматов данных, такими как Parquet, Avro</li><li>Опыт работы с dbt</li><li>Опыт работы с downstream BI-сценариями использования</li><li>Опыт работы в среде электронной коммерции или маркетплейсов</li><li>Знание немецкого языка</li></ul><h3>ЧТО МЫ ПРЕДЛАГАЕМ</h3><ul><li>Вклад в крупномасштабный, сложный продукт и возможность видеть влияние вашей работы в реальном времени</li><li>Медицинская страховка</li><li>Образовательный бюджет</li><li>Сложные задачи и профессиональное развитие, обмен знаниями и лучшими практиками</li></ul><h3>ГОТОВЫ ПРИСОЕДИНИТЬСЯ К НАМ?</h3><p>Откликайтесь сейчас и становитесь частью команды Evolved Ideas!</p> <div> <a href="https://jobs.dou.ua/companies/evolved-ideas/vacancies/362884/#reply-btn-id">Откликнуться на вакансию</a> </div>