Старший Data Engineer

Что предстоит делать

<p>Мы ищем Senior Data Engineer, чтобы помочь построить централизованную платформу данных в Snowflake. Вы будете проектировать масштабируемые пайплайны, которые консолидируют большие объёмы структурированных и полуструктурированных данных из различных источников, формировать надёжные наборы данных, готовые для бизнеса, и вносить вклад в модульную платформу, спроектированную для производительности, поддерживаемости и быстрой доставки.</p><h3>Требования для этой роли</h3><ul><li>Сильный практический опыт работы со <strong>Snowflake</strong>, включая моделирование данных, оптимизацию производительности и оптимизацию затрат.</li><li>Практический опыт работы с <strong>DBT</strong> для трансформации данных и разработки моделей данных.</li><li>Подтверждённый опыт проектирования и построения крупномасштабных сквозных пайплайнов данных.</li><li>Продвинутые навыки <strong>SQL</strong> и опыт работы с распределёнными системами данных.</li><li>Опыт приёма и обработки больших объёмов структурированных и полуструктурированных данных.</li><li>Понимание <strong>Medallion architecture</strong> и современных принципов проектирования платформ данных.</li><li>Опыт работы с инструментами оркестрации, такими как <strong>Airflow</strong> или аналогичными решениями.</li><li>Способность поставлять несколько пайплайнов параллельно, сохраняя масштабируемость, надёжность и качество.</li><li>Сильное чувство ответственности и эффективная коммуникация с техническими и бизнес-стейкхолдерами.</li><li>Способность работать с изменяющимися требованиями и эффективно сотрудничать в распределённых командах.</li></ul><h3>Ваши обязанности</h3><ul><li>Проектировать и строить сквозные пайплайны для данных из внутренних операционных и финансовых систем, источников коммерческой недвижимости, а также сторонних рыночных и макроэкономических наборов данных.</li><li>Разрабатывать трансформации с использованием <strong>DBT</strong> для получения чистых, надёжных и готовых для бизнеса наборов данных в <strong>Gold layer</strong>.</li><li>Внедрять и оптимизировать модели данных <strong>Snowflake</strong> в соответствии со слоями <strong>Bronze, Silver и Gold</strong>.</li><li>Поставлять масштабируемые пайплайны с фокусом на высокую производительность, экономическую эффективность и поддерживаемость.</li><li>Внедрять практики обеспечения качества и надёжности данных, включая мониторинг свежести, мониторинг пайплайнов, валидацию и QA.</li><li>Сотрудничать с техническими и бизнес-стейкхолдерами для адаптации пайплайнов и моделей данных по мере изменения требований.</li><li>Вносить вклад в модульную, слабосвязанную архитектуру платформы данных, снижающую зависимость от вендоров.</li><li>Поддерживать быструю поставку нескольких пайплайнов в составе гибкой распределённой инженерной команды.</li></ul><h3>Что вы получаете</h3><h3>Ваше время отдыха</h3><ul><li>18 оплачиваемых дней отпуска и 10 оплачиваемых дней по болезни ежегодно</li><li>10 государственных праздников Украины</li><li>Отпуска по беременности и родам и по уходу за ребёнком для отцов</li><li>Пакет поддержки при браке и родительстве</li><li>Дополнительный отпуск для важных жизненных событий</li><li>Возможности для саббатикала</li></ul><h3>Обучение и рост</h3><ul><li>Воркшопы Sombra University и внутренние обучающие программы</li><li>Технические сообщества и сессии обмена знаниями</li><li>Языковые курсы и воркшопы</li><li>Возможности менторства</li></ul><h3>Здоровье и благополучие</h3><ul><li>Компенсация занятий спортом или покрытие медицинской страховки</li><li>Участие в забегах и марафонах</li><li>Корпоративный врач (телемедицина)</li><li>Инициативы и воркшопы по благополучию</li></ul><h3>И даже больше</h3><ul><li>Техническое оборудование, предоставляемое компанией</li><li>Администрирование PE и налоговая поддержка</li><li>Внутренняя реферальная программа</li><li>Программа лояльности IT Club</li><li>Корпоративные мероприятия и волонтёрские инициативы</li></ul><h3>Перед подачей заявки</h3><p>Наша команда по подбору персонала внимательно рассмотрит ваш профиль, и если мы увидим хорошее соответствие роли, мы свяжемся с вами в ближайшее время.</p><p>Если вы не получите от нас ответ в течение 5 рабочих дней, это означает, что мы решили продолжить процесс с другими кандидатами на эту позицию. Спасибо за понимание.</p> <div> <a href="https://jobs.dou.ua/companies/sombra/vacancies/377374/#reply-btn-id">Откликнуться на вакансию</a> </div>