Старший инженер данных

Что предстоит делать

<p><strong>Кто мы?</strong></p><p>Welltech — это глобальная технологическая компания в сфере велнеса с украинскими корнями. Наша миссия — <strong>создавать и масштабировать велнес-приложения по всему миру с помощью передового технологичного performance-маркетинга.</strong> <br><br>Мы — один из самых авторитетных игроков в сфере велнес-приложений, и мы ускоряемся. Более <strong>25,5 миллионов</strong> человек по всему миру используют наши приложения — <strong>Muscle Booster, Yoga-Go и WalkFit</strong> — чтобы формировать здоровые привычки, больше двигаться и чувствовать себя лучше каждый день. Каждая подписка — это реальный человек, который реально меняет свою жизнь, и мы относимся к этому серьезно.<br><br>Объединяя <strong>более 500 сотрудников</strong> в хабах на <strong>Кипре, в Украине, Польше, Испании и Великобритании</strong>, мы сочетаем масштаб лидера рынка и драйв команды, которая только начинает свой путь.</p> <p><strong>Кого мы ищем</strong></p><p>В роли <strong>Senior Data Engineer</strong> вы будете играть ключевую роль в создании и поддержке фундамента нашей экосистемы данных. Вы будете работать вместе с инженерами данных, аналитиками и продуктовыми командами, чтобы создавать надежные, масштабируемые и высокопроизводительные пайплайны и модели данных. Ваша работа напрямую повлияет на то, как мы получаем инсайты, обеспечиваем работу продуктовых функций и поддерживаем принятие решений на основе данных по всей компании.</p><p>Эта роль идеально подходит для человека, который сочетает глубокие технические навыки с проактивным мышлением и преуспевает в решении сложных задач с данными в коллаборативной среде.</p><p><strong>Задачи, с которыми вы столкнетесь:</strong></p><ul><li><strong>Разработка и оптимизация пайплайнов:</strong> Создание и поддержка надежных, масштабируемых ETL/ELT пайплайнов с использованием современных инструментов и лучших практик, обеспечивая эффективный поток данных для аналитики и инсайтов.</li><li><strong>Моделирование и трансформация данных:</strong> Проектирование и внедрение эффективных моделей данных, которые поддерживают бизнес-потребности, обеспечивая высококачественную отчетность и последующую аналитику.</li><li><strong>Совместная работа между командами:</strong> Тесное взаимодействие с аналитиками данных, продакт-менеджерами и другими инженерами для понимания требований к данным и предоставления решений, отвечающих потребностям бизнеса.</li><li><strong>Обеспечение качества данных:</strong> Разработка и применение проверок качества данных, фреймворков валидации и мониторинга для обеспечения согласованности, точности и надежности данных.</li><li><strong>Производительность и эффективность:</strong> Выявление и устранение проблем производительности в пайплайнах, запросах и хранилищах данных. Предложение и внедрение оптимизаций, повышающих скорость и надежность.</li><li><strong>Безопасность и соответствие требованиям:</strong> Соблюдение лучших практик безопасности данных и обеспечение соответствия пайплайнов стандартам конфиденциальности и соответствия данных.</li><li><strong>Инновации и постоянное улучшение:</strong> Тестирование новых инструментов и подходов путем создания Proof of Concepts (PoC) и проведения сравнительного анализа производительности для поиска наилучших решений.</li><li><strong>Автоматизация и практики CI/CD:</strong> Вклад в разработку надежных CI/CD пайплайнов (GitLab CI или аналогичных) для рабочих процессов с данными, поддержка автоматизированного тестирования и развертывания.</li></ul><p><strong>Необходимые навыки:</strong></p><ul><li><strong>Более 4 лет опыта</strong> в инженерии данных или backend-разработке с сильным фокусом на создании production-grade пайплайнов данных.</li><li><strong>2-3+ года</strong> опыта работы с <strong>сервисами AWS</strong> <strong>(Администрирование Redshift обязательно)</strong>,</li><li>Солидный опыт работы с сервисами AWS<strong> </strong>(Spectrum, S3, RDS, Glue, Lambda, Kinesis, SQS).</li><li>Свободное владение <strong>Python</strong> и <strong>SQL</strong> для трансформации данных и автоматизации.</li><li>Опыт работы с <strong>dbt</strong> для моделирования и трансформации данных.</li><li>Хорошее понимание <strong>стриминговых архитектур</strong> и микробатчинга для работы с данными в реальном времени.</li><li>Опыт работы с <strong>CI/CD пайплайнами</strong> для рабочих процессов с данными (желательно GitLab CI).</li><li>Знакомство с <strong>инструментами/решениями для валидации схем событий</strong> (Snowplow, Schema Registry).</li><li>Отличные коммуникативные навыки и навыки сотрудничества.<br>Сильные навыки решения проблем — способность разбираться в проблемах с данными, предлагать решения и предоставлять чистые, надежные результаты.</li><li>Мышление роста — энтузиазм в изучении новых инструментов, обмене знаниями и улучшении командных практик.</li></ul><p><strong>Технологический стек, с которым вы будете работать:</strong></p><ul><li><strong>Облако:</strong> AWS (<strong>Redshift</strong>, Spectrum, S3, RDS, Lambda, Kinesis, SQS, Glue, MWAA)</li><li><strong>Языки:</strong> Python, SQL</li><li><strong>Оркестрация:</strong> Airflow (MWAA)</li><li><strong>Моделирование:</strong> dbt</li><li><strong>CI/CD: </strong>GitLab CI (включая администрирование GitLab)</li><li><strong>Мониторинг:</strong> Datadog, Grafana, Graylog</li><li><strong>Процесс валидации событий: </strong>Iglu schema registry</li><li><strong>API и интеграции:</strong> REST, OAuth, вебхук-ингейшн</li><li><strong>Инфраструктура как код (опционально):</strong> Terraform</li></ul><p><strong>Бонусы / Будет плюсом:</strong></p><ul><li>Опыт работы с <strong>дополнительными сервисами AWS</strong>: EMR, EKS, Athena, EC2.</li><li>Практические знания <strong>альтернативных хранилищ данных</strong>, таких как Snowflake или другие.</li><li>Опыт работы с <strong>PySpark</strong> для обработки больших данных.</li><li>Знакомство с <strong>инструментами сбора событийных данных</strong> (Snowplow, Rudderstack и т.д.).</li><li>Интерес к <strong>платформам клиентских данных (CDP)</strong> и рабочим процессам с данными в реальном времени.</li></ul> <p><strong>Процесс отбора:</strong> ⭕️ Звонок с рекрутером ➔ ⭕️ Техническое собеседование с hiring manager ➔ ⭕️ Встреча с будущими стейкхолдерами<br><br><strong>Локации: Кипр; Украина, Эстония; Болгария; Венгрия; Латвия; Литва; Румыния</strong></p> <div> <a href="https://jobs.dou.ua/companies/welltech/vacancies/367447/#reply-btn-id">Откликнуться на вакансию</a> </div>