Data Engineer

Что предстоит делать

<p>Привет! AgileEngine — компания из списка Inc. 5000, которая создаёт отмеченное наградами программное обеспечение для брендов из Fortune 500 и прорывных стартапов в более чем 17 отраслях. Мы входим в число лидеров в таких областях, как разработка приложений и AI/ML, а наша культура, ориентированная на людей, принесла нам множество наград Best Place to Work.</p> <p><strong>Почему стоит присоединиться к нам</strong><br>Если вы ищете место для роста, где можно влиять на результат и работать с людьми, которым небезразлично, мы будем рады познакомиться с вами! :)</p> <p><strong>О роли</strong><br>Мы ищем <strong>Data Engineer</strong> с сильным опытом работы с Databricks и GCP для разработки масштабируемых ETL/ELT-пайплайнов и вывода в продакшен агентных workflow для автоматизации data engineering.<br>Обязательные требования — опыт работы с Databricks и GCP от 5 лет, продвинутый SQL, а также опыт работы с Delta Lake и архитектурами lakehouse, наряду с уровнем английского Upper-Intermediate. Опыт создания AI-агентов будет плюсом.</p> <p><strong>Что вы будете делать</strong><br>● Проектировать, разрабатывать и оптимизировать масштабируемые ETL/ELT-пайплайны с использованием Databricks, PySpark и SQL.<br>● Создавать и вводить в эксплуатацию агентные workflow для автоматизации процессов data engineering и операционных процессов, таких как валидация данных, выявление проблем, устранение неполадок и выполнение workflow.<br>● Интегрировать агентные возможности с существующими средами Databricks, GCP, BigQuery и Delta Lake.<br>● Разрабатывать пайплайны данных и решения для обработки, поддерживающие новые бизнес-требования и наборы данных.<br>● Создавать переиспользуемые фреймворки и компоненты, которые можно применять в множестве сценариев data engineering и бизнес-кейсов.<br>● Внедрять проверки качества данных, мониторинг, валидацию, обработку исключений и производственный контроль.<br>● Оптимизировать нагрузки PySpark и SQL с точки зрения производительности, надёжности и масштабируемости.<br>● Поддерживать тестирование, развёртывание, вывод в продакшен и постоянное совершенствование решений для данных и агентных решений.<br>● Устранять сложные проблемы с данными и производственные проблемы и внедрять устойчивые решения.<br>● Сотрудничать с бизнес-командами, командами data engineering и платформенными командами для выявления дополнительных возможностей автоматизации.</p> <p><strong>Обязательные требования</strong><br>● <strong>5+ лет</strong> сильного практического опыта работы с <strong>Databricks</strong> и <strong>PySpark</strong>.<br>● <strong>Продвинутый SQL</strong> и навыки обработки данных.<br>● Практический опыт работы с <strong>GCP</strong>, в частности с <strong>BigQuery</strong>.<br>● Опыт работы с <strong>Delta Lake</strong> и современными архитектурами data lake/lakehouse.<br>● Сильное понимание ETL/ELT, проектирования пайплайнов данных, оптимизации производительности и качества данных.<br>● Опыт создания надёжных, масштабируемых, production-grade решений для данных.<br>● Сильные аналитические навыки и навыки устранения неполадок.<br>● Понимание практик software engineering, включая тестирование, контроль версий, развёртывание, мониторинг и производственную поддержку.<br>● Уровень английского Upper-Intermediate.</p> <p><strong>Будет плюсом</strong><br>● Опыт разработки или интеграции AI/агентных workflow, AI-агентов или решений для автоматизации workflow.<br>● Опыт применения AI для автоматизации data engineering, валидации, устранения неполадок или операционных процессов.<br>● Знакомство с фреймворками оркестрации и автоматизации.<br>● Опыт разработки переиспользуемых фреймворков data engineering и компонентов платформы.<br>● Опыт вывода в продакшен AI-решений с надлежащей валидацией, мониторингом и человеческим контролем.</p> <p><strong>Перки и бенефиты</strong><br><span style="color: #EC9301;">● </span>Профессиональный рост: ускорьте свой профессиональный путь с менторством, TechTalks и персонализированными дорожными картами роста<br><span style="color: #EC9301;">● </span>Конкурентоспособная компенсация: мы сопоставляем ваши постоянно растущие навыки, талант и вклад с конкурентоспособной компенсацией в USD и бюджетами на образование, фитнес и командные мероприятия<br><span style="color: #EC9301;">● </span>Выбор интересных проектов: присоединяйтесь к проектам с разработкой современных решений и клиентами топ-уровня, включая предприятия из Fortune 500 и ведущие продуктовые бренды<br><span style="color: #EC9301;">● </span>Гибкий график: настройте своё расписание для оптимального баланса между работой и жизнью, имея возможность работать из дома или приходить в офис — как вам будет удобнее и продуктивнее.</p> <p><strong>Познакомьтесь с нашим процессом найма</strong><br><strong>Асинхронный этап </strong> — автоматизированный трек в удобном для вас темпе, который помогает нам двигаться быстрее и давать вам более быструю обратную связь:<br>● Короткая онлайн-форма для подтверждения базовых требований <br>● <nobr>30–60</nobr>-минутная оценка навыков <br>● <nobr>5-минутное</nobr> вступительное видео <br><strong>Синхронный этап </strong>— живые интервью<br>● Техническое интервью с нашей инженерной командой (назначается в удобное для вас время) <br>● Финальное интервью с вашими будущими коллегами <br><strong>Если мы подходим друг другу — вы получите оффер!</strong></p> <div> <a href="https://jobs.dou.ua/companies/agileengine/vacancies/375063/#reply-btn-id">Откликнуться на вакансию</a> </div>