Data Engineer

Что предстоит делать

<p>Мы ищем опытного <b>Data Engineer</b> для проектирования и поддержки надежной инфраструктуры данных во всех наших системах. В этой роли вы будете отвечать за создание масштабируемых пайплайнов данных, обеспечение целостности данных и интеграцию сторонних источников данных. Вашей основной задачей будет обеспечение эффективного потока данных и поддержка аналитических возможностей по всей организации. Вы также будете вносить вклад в развитие нашей архитектуры данных, внедрять лучшие инженерные практики и тесно сотрудничать с кросс-функциональными командами для преобразования необработанных данных в действенные инсайты.</p><h3><b>Требования</b></h3><p>— 3+ года коммерческого опыта в Data Engineering<br>— Опыт сбора бизнес-требований и взаимодействия с заинтересованными сторонами<br>— Глубокое знание архитектуры и принципов Data Warehouse (DWH)<br>— Практический опыт проектирования хранилищ данных и построения ETL-пайплайнов<br>— Глубокий практический опыт работы с Python<br>— Практический опыт в одной или нескольких из следующих областей: обработка данных с использованием PySpark, Apache Spark, Pandas или аналогичных фреймворков; парсинг данных; интеграция сторонних источников данных и API<br>— Владение SQL и реляционными базами данных, такими как PostgreSQL и MySQL<br>— Практический опыт работы с колоночными базами данных, такими как ClickHouse, Snowflake, Cassandra, BigQuery (много таблиц с миллионами записей и более в каждой)<br>— Хорошее понимание шаблонов проектирования программного обеспечения, алгоритмов и структур данных<br>— Владение английским языком на уровне Intermediate</p><h3><b>Будет плюсом</b></h3><p>— Опыт работы с платформами обмена сообщениями, такими как RabbitMQ или Kafka<br>— Знакомство с практиками DataOps и автоматизацией пайплайнов данных<br>— Знакомство с CI/CD-пайплайнами и средами Kubernetes<br>— Опыт в доменах FinTech или Trading</p><h3><b>Обязанности</b></h3><p>— Взаимодействие с техническими и нетехническими заинтересованными сторонами для сбора и уточнения бизнес-требований<br>— Анализ данных и бизнес-логики для обеспечения согласованности, точности и надежности<br>— Проектирование, внедрение и поддержка пайплайнов данных для эффективной и масштабируемой обработки данных<br>— Интеграция, поддержка и сопровождение решений для работы с данными и сторонних источников данных<br>— Исследование и оценка сторонних инструментов, сервисов и компонентов для потенциального использования<br>— Следование лучшим инженерным практикам, включая ревью кода, тестирование, рефакторинг и непрерывную доставку<br>— Проектирование, оптимизация и поддержка решений для хранения данных</p><h3><strong>Что мы предлагаем:</strong></h3><p>— Покрытие налоговых расходов для частных предпринимателей в Украине<br>— Экспертная поддержка и консультации для украинских частных предпринимателей<br>— 20 оплачиваемых отпускных дней в год<br>— 10 оплачиваемых дней больничного в год<br>— Государственные праздники в соответствии с утвержденным списком праздников компании<br>— Медицинская страховка<br>— Возможность удаленной работы<br>— Бюджет на профессиональное обучение<br>— Бюджет на изучение языков<br>— Велнес-бюджет (абонемент в спортзал, спортивный инвентарь и связанные расходы)</p> <div> <a href="https://jobs.dou.ua/companies/justmarkets/vacancies/358082/#reply-btn-id">Откликнуться на вакансию</a> </div>