AI и Data Engineer

Что предстоит делать

<p>Мы ищем опытного AI и Data Engineer, чтобы присоединиться к нашей команде. Вы будете на переднем крае проектирования, создания и поддержки инфраструктуры, которая обеспечивает работу наших продуктов на основе данных и моделей машинного обучения. Эта роль требует сильного сочетания экспертизы в области data engineering, глубокого понимания принципов MLOps и умения работать с крупномасштабными наборами данных. Вы будете отвечать за создание надёжных data pipelines, управление нашими data-платформами и сотрудничество с data scientists и software engineers для воплощения AI-решений в жизнь.</p> <h3>Требования</h3><ul><li>Высшее образование в области Computer Science, статистики, Machine Learning, Data Science или смежной количественной дисциплины</li><li>2+ года опыта разработки технических решений для автоматизации или AI</li><li>Сильные навыки программирования на Python и опыт работы с Big Data приложениями</li><li>Сильный практический опыт работы с Apache Airflow, включая написание DAG с нуля, управление зависимостями и планированием, а также отладку неудачных production-запусков</li><li>Сильные навыки SQL, включая сложные трансформации, оптимизацию запросов и работу с большими аналитическими наборами данных</li><li>Несколько лет практического опыта проектирования, создания и поддержки надёжных production data pipelines</li><li>Практический опыт работы с data-сервисами AWS, в частности Amazon S3, Athena и IAM, или эквивалентный опыт запросов к файловым наборам данных с использованием Presto, Trino или BigQuery</li><li>Сильное понимание основ data lake, включая партиционированные Parquet-наборы данных, стратегии партиционирования, инкрементальные загрузки и эволюцию схем</li><li>Твёрдое понимание управления жизненным циклом данных, архитектуры данных и governance</li><li>Опыт работы с CI/CD pipelines и инструментами MLOps</li><li>Опыт работы с data modelling, ETL и наборами данных, готовыми к аналитике</li><li>Рабочее знание Docker и контейнеризированных workflow разработки/развёртывания</li><li>Комфортная работа с приложениями и data-нагрузками в Linux-средах и их troubleshooting</li><li>Отличные коммуникативные навыки с умением объяснять сложные технические концепции нетехническим стейкхолдерам</li></ul><h3>Будет плюсом</h3><ul><li>Опыт работы с Docker и Kubernetes для контейнеризации и оркестрации</li><li>Знание технологий обработки данных в реальном времени, таких как Apache Kafka или Amazon Kinesis</li><li>Знакомство с фреймворками data observability, тестирования и автоматизации</li></ul><h3>Обязанности</h3><ul><li>Проектировать, создавать и поддерживать масштабируемые data pipelines с использованием таких инструментов, как Apache Airflow и AWS Glue</li><li>Управлять облачными data-платформами и оптимизировать их, включая data lakes (S3) и data warehouses (Redshift, BigQuery)</li><li>Решать сложные задачи интеграции данных, используя оптимальные ETL-паттерны, с источниками из структурированных и неструктурированных данных</li><li>Разрабатывать и внедрять MLOps-фреймворки для автоматизации развёртывания, мониторинга и управления жизненным циклом ML-моделей</li><li>Переводить экспериментальные модели в production-ready код и интегрировать их в приложения совместно с командами software engineering</li><li>Применять лучшие практики в CI/CD, используя такие инструменты, как Jenkins, GitLab CI и MLflow или Kubeflow</li><li>Создавать интерактивные дашборды и data-продукты для поддержки аналитики и принятия решений</li><li>Сотрудничать с командами product, QA, architecture и engineering для поставки чисто интегрированных data-сервисов</li><li>Поддерживать команды надёжными, хорошо документированными data-моделями и инфраструктурой</li><li>Непрерывно мониторить и улучшать производительность и экономическую эффективность data- и AI-инфраструктуры</li><li>Двигать инновации, оценивая open-source инструменты и новые технологии, и рекомендовать решения</li><li>Влиять на product- и кросс-функциональные команды для выявления data-возможностей, обеспечивающих измеримый эффект</li></ul> <div> <a href="https://jobs.dou.ua/companies/abcloudz/vacancies/374297/#reply-btn-id">Откликнуться на вакансию</a> </div>