Data Engineer / Data Platform Engineer

Что предстоит делать

<p>OGDSolutions — это европейская IT-компания с сетью из более чем 1000 проверенных инженеров-программистов.</p><p>Наша миссия — строить долгосрочные отношения, соединяя опытных специалистов в области технологий с соответствующими проектами от международных клиентов, IT-компаний и стартапов.</p><p>Имея партнерскую сеть из более чем 200 IT-компаний в 10 странах, мы предлагаем возможности для удаленной работы как на полный, так и на неполный рабочий день. В зависимости от условий проекта и вашей доступности, вы можете сотрудничать с OGDSolutions, сохраняя при этом свою текущую должность.</p><p>Мы ищем Data Engineers и Data Platform Engineers, которые могут создавать масштабируемые и надежные основы для аналитики, AI, Machine Learning, операционной отчетности и разработки продуктов.</p><p><strong>О роли:</strong></p><p>В зависимости от проекта вы можете сосредоточиться на создании конвейеров данных и трансформаций или взять на себя более широкую ответственность за облачную платформу данных, включая оркестрацию, хранение, наблюдаемость, управление, контроль доступа, надежность и инфраструктуру.</p><p><strong>Требования:</strong></p><ul><li>Загрузка: Частичная занятость / Полная занятость;</li><li>Уровень: Middle / Senior / Lead;</li><li>Опыт работы: 3+ года;</li><li>Формат работы: Удаленно;</li><li>Английский язык: B2+;</li><li>Оплата: Проектная.</li></ul><p><strong>Требуемые технологии:</strong></p><ul><li>3+ года опыта работы с Python;</li><li>3+ года опыта работы с SQL;</li><li>3+ года опыта работы в Data Engineering;</li><li>3+ года опыта работы с ETL;</li><li>3+ года опыта работы с ELT;</li><li>3+ года опыта работы с Data Pipelines;</li><li>2+ года опыта работы с Data Modeling;</li><li>2+ года опыта работы с Apache Airflow;</li><li>2+ года опыта работы с Apache Spark;</li><li>2+ года опыта работы с облачными платформами.</li></ul><p><strong>Обязанности:</strong></p><ul><li>Проектировать, создавать и поддерживать пакетные и потоковые конвейеры данных;</li><li>Разрабатывать надежную загрузку данных из продуктовых систем, сторонних API, баз данных, потоков событий и бизнес-приложений;</li><li>Проектировать и внедрять архитектуры data warehouse, data lake или lakehouse;</li><li>Разрабатывать масштабируемые процессы ETL и ELT;</li><li>Создавать и поддерживать размерные, реляционные и аналитические модели данных;</li><li>Создавать и поддерживать оркестрацию рабочих процессов с использованием Airflow, Dagster или аналогичных платформ;</li><li>Внедрять проверку качества данных, мониторинг, оповещение и восстановление после сбоев;</li><li>Улучшать происхождение данных, каталогизацию, обнаруживаемость и управление доступом;</li><li>Оптимизировать производительность конвейеров, потребление инфраструктуры, стоимость запросов и стоимость хранения;</li><li>Поддерживать Data Scientists, Analytics Engineers, BI-команды, AI-команды и продуктовых стейкхолдеров;</li><li>Применять практики CI/CD, автоматизированного тестирования, code review и Infrastructure as Code;</li><li>Участвовать в обсуждениях архитектуры, оценках, документации и общении с клиентами.</li></ul><p><strong>Требования:</strong></p><ul><li>3+ года коммерческого опыта в Data Engineering или Data Platform Engineering;</li><li>Глубокие знания SQL и Python;</li><li>Опыт разработки production ETL или ELT конвейеров;</li><li>Хорошее понимание концепций моделирования данных, распределенной обработки и data warehouse;</li><li>Опыт работы как минимум с одной платформой оркестрации рабочих процессов;</li><li>Опыт работы как минимум с одной крупной облачной платформой: AWS, Azure или GCP;</li><li>Практический опыт работы как минимум с одной современной платформой data warehouse или lakehouse;</li><li>Понимание качества данных, наблюдаемости, происхождения и контроля доступа;</li><li>Знакомство с Git, CI/CD, автоматизированным тестированием и поддержкой production-среды;</li><li>Способность расследовать инциденты с данными и узкие места производительности;</li><li>Уровень английского B2 или выше;</li><li>Хорошие навыки общения и удаленной совместной работы.</li></ul><p><strong>Для кандидатов на позицию Data Platform Engineer:</strong></p><p>Мы также ценим:</p><p>— Опыт владения общей инфраструктурой данных, а не только разработки отдельных задач;<br>— Infrastructure as Code и управление облачными ресурсами;<br>— Наблюдаемость, безопасность, управление и управление затратами платформы;<br>— Опыт поддержки нескольких команд Data Engineering, Analytics или Data Science;<br>— Опыт принятия прагматичных решений «строить или покупать».</p><p><strong>Что мы предлагаем:</strong></p><p>— 100% удаленное сотрудничество;<br>— Возможности полной и частичной занятости;<br>— Международные проекты в области данных, аналитики, облачных технологий и AI;<br>— Долгосрочные и проектные задания;<br>— Возможность выбирать проекты, соответствующие вашему опыту;<br>— Гибкий график работы в зависимости от требований проекта;<br>— Прозрачные ставки по проектам;<br>— Юридические соглашения и четкие условия сотрудничества;<br>— Прямой процесс подбора и собеседования;<br>— Поддержка от Support Manager OGDSolutions;<br>— Партнерский подход к сотрудничеству.</p><p>Спасибо, что нашли время внимательно ознакомиться с нашим объявлением о вакансии. Если вы считаете, что соответствуете указанным критериям и требованиям, мы будем очень признательны, если вы отправите свою заявку.</p> <div> <a href="https://jobs.dou.ua/companies/ogd-solutions/vacancies/366336/#reply-btn-id">Откликнуться на вакансию</a> </div>