Инженер данных (Data Engineer)

Что предстоит делать

<p>Мы ищем Data Engineer для присоединения к нашей команде, чтобы создавать надежные пайплайны данных для текущих и будущих аналитических проектов.<br>Вы будете работать с Python, Apache Airflow, ClickHouse, PostgreSQL, AWS S3 и Nextcloud, чтобы предоставлять чистые, проверенные наборы данных для BI/отчетности и операционных дашбордов.<br>В дополнение к основной ETL/ELT работе, нам требуется сильное мышление в духе <em>агентного инжиниринга данных</em>: автоматизация рутинных задач DE (создание каркасов пайплайнов, проверки данных, разбор инцидентов и документация) с помощью AI-ассистированных рабочих процессов при четких ограничениях по качеству и безопасности.<br><br><strong>Требования</strong>:<br>— 4+ года практического опыта в Data Engineering<br>— Сильные навыки Python для пайплайнов данных и автоматизации<br>— Уверенный опыт работы с Apache Airflow (разработка DAG, планирование, мониторинг, устранение неполадок)<br>— Продвинутый SQL и практический опыт работы с ClickHouse и/или PostgreSQL<br>— Опыт работы с AWS S3, Nextcloud и загрузкой данных из файлов/API<br>— Понимание паттернов ETL/ELT, инкрементальных загрузок, идемпотентности и партиционирования<br>— Опыт работы с проверками качества данных, логированием и оповещениями<br>— Опыт (или сильный практический интерес) в агентном/AI-ассистированном инжиниринге для автоматизации повторяющихся рабочих процессов<br>— Хорошее владение Git и навыки совместной работы<br>— Английский: intermediate+ (письменный и устный)<br><br><strong>Обязанности</strong>:<br>— Проектировать, разрабатывать и поддерживать DAG Airflow для пакетных пайплайнов данных<br>— Создавать и улучшать загрузку данных из S3, Nextcloud, API и реляционных баз данных<br>— Моделировать и оптимизировать таблицы в ClickHouse для производительности и аналитических сценариев использования<br>— Внедрять и поддерживать проверки качества/сверки данных<br>— Мониторить работоспособность пайплайнов, устранять проблемы в продакшене и повышать надежность<br>— Сотрудничать с аналитиками/заинтересованными сторонами BI для предоставления витрин данных и наборов данных для отчетности<br>— Документировать логику пайплайнов, зависимости и операционные инструкции<br>— Выявлять повторяющиеся задачи DE и внедрять агентные автоматизации для снижения ручного труда при сохранении строгого контроля надежности<br><br><strong>Будет плюсом:</strong> <br>— Опыт работы с пользовательскими операторами/плагинами Airflow<br>— Знание интеграций оповещений Slack/Telegram<br>— Опыт в высоконагруженных доменах (финтех, гейминг, электронная коммерция)<br>— Понимание CI/CD для рабочих процессов с данными и инфраструктуры как кода<br>— Опыт работы с Docker/Kubernetes<br>— Практический опыт работы с LLM API/агентными фреймворками для внутренних инструментов работы с данными (с оценкой, наблюдаемостью и контролем с участием человека)<br><br><strong>Что мы предлагаем:</strong></p><ul><li>Конкурентоспособный компенсационный пакет с бонусами по результатам работы</li><li>Компенсация медицинской страховки</li><li>Спортивные льготы</li><li>21 рабочий день оплачиваемого отпуска в год</li><li>25 оплачиваемых больничных дней в год — без необходимости предоставления справки от врача</li><li>3 дополнительных оплачиваемых выходных дня в год для личных нужд</li><li>Частичная компенсация сеансов психологической поддержки</li><li>Годовой образовательный бюджет в размере $600</li><li>Оплачиваемые командировки в наш головной офис на Кипре</li></ul> <div> <a href="https://jobs.dou.ua/companies/oneeven/vacancies/362143/#reply-btn-id">Откликнуться на вакансию</a> </div>