Machine Learning Engineer (RAG)

Что предстоит делать

О компании ScillCampVR разрабатывает ИИ-ассистента корпоративного уровня, который помогает организациям мгновенно и безопасно получать доступ к своим знаниям и эффективно их использовать. Наша система сочетает в себе технологии Retrieval-Augmented Generation (RAG), многопользовательскую архитектуру и безопасные облачные компоненты, что позволяет обеспечивать точные и контекстуально осведомленные ответы в сложных корпоративных средах. В настоящее время мы ищем инженера по машинному обучению, который станет частью нашей основной технической команды и поможет вывести нашу технологию RAG на новый уровень.

• Разработка RAG-системы
• Совершенствование существующих пайплайнов RAG на базе Python (индексация, встраивание, извлечение, повторное ранжирование).
• Реализация улучшений для векторных баз данных (обновления индексов, миграции, настройка производительности).
• Разработка надежных пайплайнов для предварительной обработки документов и разделения их на части для данных в различных форматах.
• Интеграция с LLM
• Интеграция и оптимизация подсказок и рабочих процессов с моделями OpenAI.
• Проведение экспериментов с альтернативными LLM (опциональный режим: BYOM/BYO-LLM).
• Разработка механизмов контроля качества, метрик оценки и автоматизированных тестов.
• Инфраструктура и Backend
• Тесное сотрудничество с инженером AWS для развертывания, мониторинга и масштабирования сервисов RAG.
• Реализация безопасных потоков данных (S3, Lambda, Bedrock, IAM, API Gateway и т.д.).
• Разработка многопользовательских и локальных вариантов архитектуры.
• Поиск, ранжирование и встраивание
• Оценка новых моделей встраивания и методов извлечения данных.
• Совершенствование качества семантического поиска и релевантности в рамках конкретных доменов.
• Исследование новых подходов, таких как повторное ранжирование, гибридный поиск, малые локальные LLM и другие.

Что ждём от вас

• Мы являемся стартапом, поэтому ценим практический опыт, ответственность и любознательность.
• Уверенные навыки программирования на Python (чистый, эффективный код для производственной среды).
• Практический опыт работы с LLM (OpenAI API или аналогичные).
• Обширный опыт работы с системами RAG и векторными базами данных (Qdrant, Pinecone, FAISS и т.д.).
• Знание сервисов AWS (Lambda, S3, EC2, IAM, CloudWatch, API Gateway).
• Опыт извлечения данных из документов (OCR, парсинг PDF, обработка данных).
• Опыт работы с графиками.
• Хорошее понимание технологий встраивания, семантического поиска и разработки подсказок.
• Способность реализовать фичи от концепта до развернутого решения.

Что предлагаем