Мы создаем следующее поколение продуктов на основе генеративного AI (LLM, RAG) и классического NLP.
Наша цель — не только исследовательские модели, но и их промышленная эксплуатация в масштабе.
Мы ищем опытного ML-разработчика, который будет проектировать, строить и поддерживать сложные, высокопроизводительные и отказоустойчивые системы машинного инференса, являющиеся фундаментом для наших AI-решений.
Проектирование и разработка систем инференса:
Создание микросервисной архитектуры для обслуживания (Serving) LLM, эмбеддинг-моделей и реранкеров с низкой задержкой (low-latency) и высокой пропускной способностью (high-throughput).
Оптимизация пайплайнов инференса для масштабирования (горизонтального и вертикального) и обеспечения отказоустойчивости (high availability, fault tolerance).
Интеграция ML-сервисов с системами оркестрации (Kubernetes), очередями сообщений и API-гейтвеями.
Инжиниринг производительности и надежности (совместно с девопсами):
Проведение глубокого бенчмаркинга и профилирования инференса (использование GPU/CPU, память, задержки) для выявления узких мест.
Реализация стратегий батчинга, кэширования, динамической балансировки нагрузки и graceful degradation для критически важных сервисов.
Настройка мониторинга, алертинга и сбора метрик (латентность, ошибки, utilization) для ML-сервисов.
Дообучение и адаптация моделей для продакшена (совместно со специалистами по дообучению)
Адаптация и оптимизация (квантование, дистилляция, компиляция) LLM и других NLP-моделей для эффективного запуска в production-среде.
Организация пайплайнов дообучения (fine-tuning) с учетом требований к воспроизводимости и версионированию данных и моделей.
Поддержка и развитие ML-инфраструктуры (совместно с девопсами и специалистами обслуживания RAG систем):
Развитие и поддержка core-компонентов для RAG-систем (векторные базы, ретрайверы, реранкеры) с упором на их производительность и надежность.
Участие в формировании лучших практик (MLOps) для развертывания (CI/CD), мониторинга и управления версиями моделей.
Требования:
Опыт работы ML-инженером / MLOps-инженером от 3 лет.
Высшее техническое образование (информатика, прикладная математика, Software Engineering).
Уверенное знание Python и его экосистемы для ML/инжиниринга.
Понимание принципов разработки высоконагруженных и отказоустойчивых распределенных систем.
Производственный опыт развертывания и обслуживания ML-моделей: Знание инструментов для serving'a (Ray Serve, Triton Inference Server, KServe, vLLM, TGI).
Глубокое знание инфраструктурного стека:
Контейнеризация и оркестрация: Продвинутый опыт с Docker и Kubernetes (Deployments, Services, HPA, ресурсные ограничения).
Мониторинг и логирование: Опыт настройки Prometheus, Grafana, ELK Stack для ML-сервисов.
Проектирование API: Разработка gRPC и REST API для ML-сервисов, понимание идемпотентности, стратегий retry.
Навыки оптимизации: Опыт профилирования и ускорения инференса (использование CUDA, TensorRT, ONNX Runtime, профайлеры типа PyTorch Profiler).
Опыт работы с полным циклом LLM/RAG (сильное преимущество):
Практический опыт промпт-инжиниринга, дообучения (fine-tuning, LoRA) и запуска инференса LLM.
Понимание и опыт реализации производительных и надежных RAG-архитектур (работа с векторными БД, оптимизация пайплайнов поиска и ранжирования).
Базовые знания Big Data-стэка (Spark) для обработки данных обучения.
Знание фреймворков глубокого обучения (например PyTorch) и библиотек (Transformers, Hugging Face).