Старший Data Engineer

Что предстоит делать

<p>Мы ищем Senior Data Engineer для передового FinTech-проекта из США.<strong></strong><strong></strong></p><p><strong>Процесс найма</strong></p><ul><li>Рекрутинговое интервью — до 30 минут;</li><li>Техническое интервью — 1 час;</li><li>Звонок с PM — 30 минут.</li></ul><p><strong>Требования:</strong></p><ul><li>5+ лет коммерческого опыта в роли Data Engineer, с практическим опытом построения и поддержки ETL-пайплайнов</li><li>Глубокая экспертиза в PostgreSQL, включая написание, оптимизацию и отладку сложных SQL-запросов в production-среде</li><li>Коммерческий опыт работы с Apache Airflow, включая разработку, поддержку и мониторинг DAG</li><li>Практический опыт работы с AWS-сервисами для данных, такими как RDS (PostgreSQL/Aurora), S3, EC2, CloudWatch и желательно QuickSight</li><li>Способность напрямую общаться с клиентами, проактивно задавать вопросы для понимания бизнес-требований и преобразовывать их в технические решения</li><li>Подтверждённая способность работать самостоятельно при минимальной поддержке бизнес-аналитика, беря на себя ответственность за задачи data engineering от анализа до внедрения</li><li>Отличные навыки документирования, с опытом описания ETL-пайплайнов, SQL-скриптов, рабочих процессов и технических процессов для поддержки обмена знаниями и непрерывности операций</li><li>Уровень английского Upper-Intermediate или выше</li></ul><p><strong>Обязанности:</strong></p><ol><li><b>Разработка ETL и управление пайплайнами данных</b></li></ol><ul><li>Проектирование, разработка и поддержка ETL-пайплайнов для онбординга и валидации данных арендаторов (tenant data)</li><li>Создание и управление инструментом маппинга данных/ETL-платформой (ключевое продуктовое направление)</li><li>Автоматизация процессов импорта и трансформации данных для достижения цели онбординга ~4 новых арендаторов в квартал</li></ul><ol><li><b>Производительность базы данных и оптимизация скриптов</b></li></ol><ul><li>Анализ и оптимизация долго выполняющихся PostgreSQL-запросов, вызывающих деградацию производительности в production</li><li>Переписывание и улучшение SQL-скриптов, используемых клиентской командой (скрипты обработки данных конкретных арендаторов)</li><li>Настройка CI/CD-пайплайнов для SQL-скриптов</li><li>Решение проблем с IO-скачками, блокировками базы данных и репликацией</li></ul><ol><li><b>Работа с Apache Airflow</b></li></ol><ul><li>Настройка, поддержка и разработка DAG в Apache Airflow для оркестрации рабочих процессов</li><li>Координация развёртывания и валидации Airflow с клиентской командой</li><li>Мониторинг и устранение неполадок Airflow-пайплайнов в production</li></ul><ol><li><b>Инфраструктура данных AWS</b></li></ol><ul><li>Работа с AWS-сервисами: RDS (PostgreSQL/Aurora), QuickSight, EC2, S3, CloudWatch</li><li>Поддержка оптимизации QuickSight для отчётности</li><li>Участие в оптимизации затрат AWS, связанных с сервисами данных</li></ul><ol><li><b>Коллаборация и качество данных</b></li></ol><ul><li>Сотрудничество с клиентской командой по процессам обработки данных и скриптам арендаторов</li><li>Обеспечение целостности данных при онбординге арендаторов, импорте истории платежей и очистке данных</li><li>Решение задач дедупликации и валидации данных в мультитенантной среде</li></ul> <div> <a href="https://jobs.dou.ua/companies/ralabs/vacancies/371129/#reply-btn-id">Відгукнутись на вакансію</a> </div>