Data Engineer

Что предстоит делать

<p>Мы ищем опытного <strong>Data Engineer</strong> для проектирования и поддержки надежной инфраструктуры данных в наших системах. В этой роли вы будете отвечать за создание масштабируемых пайплайнов данных, обеспечение целостности данных и интеграцию сторонних источников данных. Вашей основной задачей будет обеспечение эффективного потока данных и поддержка аналитических возможностей во всей организации. Вы также будете вносить вклад в развитие нашей архитектуры данных, внедрять лучшие инженерные практики и тесно сотрудничать с кросс-функциональными командами для преобразования необработанных данных в полезные инсайты.</p><p><strong>Требования</strong></p><ul><li>3+ года коммерческого опыта в Data Engineering</li><li>Опыт сбора бизнес-требований и взаимодействия с заинтересованными сторонами</li><li>Глубокое знание архитектуры и принципов Data Warehouse (DWH)</li><li>Практический опыт проектирования хранилищ данных и создания ETL-пайплайнов</li><li>Глубокий практический опыт работы с Python</li><li>Практический опыт в одной или нескольких из следующих областей: обработка данных с использованием PySpark, Apache Spark, Pandas или аналогичных фреймворков; сбор данных (data scraping); интеграция сторонних источников данных и API</li><li>Свободное владение SQL и реляционными базами данных, такими как PostgreSQL и MySQL</li><li>Практический опыт работы с колоночными базами данных, такими как ClickHouse, Snowflake, Cassandra, BigQuery (множество таблиц с миллионами записей и более в каждой)</li><li>Твердое понимание шаблонов проектирования ПО, алгоритмов и структур данных</li><li>Владение английским языком на уровне Intermediate</li></ul><p><strong>Будет плюсом</strong></p><ul><li>Опыт работы с платформами обмена сообщениями, такими как RabbitMQ или Kafka</li><li>Знакомство с практиками DataOps и автоматизацией пайплайнов данных</li><li>Знакомство с CI/CD-пайплайнами и средами Kubernetes</li><li>Опыт работы в доменах FinTech или Trading</li></ul><p><strong>Обязанности</strong></p><ul><li>Взаимодействие с техническими и нетехническими заинтересованными сторонами для сбора и уточнения бизнес-требований</li><li>Анализ данных и бизнес-логики для обеспечения согласованности, точности и надежности</li><li>Проектирование, внедрение и поддержка пайплайнов данных для эффективной и масштабируемой обработки данных</li><li>Интеграция, поддержка и сопровождение решений для работы с данными и сторонних источников данных</li><li>Исследование и оценка сторонних инструментов, сервисов и компонентов для потенциального использования</li><li>Соблюдение лучших инженерных практик, включая ревью кода, тестирование, рефакторинг и непрерывную доставку</li><li>Проектирование, оптимизация и поддержка решений для хранения данных</li></ul><p><strong>Что мы предлагаем:</strong></p><ul><li>Покрытие налоговых расходов для частных предпринимателей в Украине</li><li>Экспертная поддержка и консультации для украинских частных предпринимателей</li><li>20 оплачиваемых отпускных дней в год</li><li>10 оплачиваемых дней больничного в год</li><li>Государственные праздники в соответствии с утвержденным списком праздников компании</li><li>Медицинская страховка</li><li>Возможность удаленной работы</li><li>Бюджет на профессиональное обучение</li><li>Бюджет на изучение языков</li><li>Бюджет на здоровье (абонемент в спортзал, спортивный инвентарь и связанные расходы)</li></ul> <div> <a href="https://jobs.dou.ua/companies/justmarkets/vacancies/365702/#reply-btn-id">Откликнуться на вакансию</a> </div>