Разработчик LLM/VLM-решений

Что предстоит делать

Halyk Банк – это мощная экосистема, где технологии сочетаются с ценностями. Мы гордимся более чем 14 000 работниками, которые делают нас лучшим местом работы. Мы предоставляем услуги во всех сегментах финансового рынка: банковском, страховом, лизинговом и т.д. Мы стремимся стать ведущим цифровым банком, внедряя инновации и предоставляя возможности для роста и развития. Мы ищем талантливых специалистов, готовых развиваться вместе с нами!

• Разработка и внедрение LLM/VLM-решений для бизнес-задач компании;
• Проектирование и построение RAG-пайплайнов для работы с корпоративными данными Разработка и оптимизация мульти-агентных систем на базе LangGraph и LangChain Настройка и обслуживание инференс-серверов (vLLM, TGI, TensorRT-LLM) Fine-tuning моделей (LoRA, QLoRA, RLHF, DPO) под специфические задачи;
• Разработка REST API на FastAPI для интеграции ML-сервисов в продукт;
• Контейнеризация и деплой ML-сервисов с помощью Docker и Kubernetes;
• Оптимизация производительности моделей: квантизация, батчинг, управление GPU-памятью;
• Проектирование и поддержка векторных баз данных для хранения эмбеддингов;
• Написание и поддержка автоматических тестов для ML-пайплайнов;
• Мониторинг качества моделей в продакшене (LangSmith, OpenTelemetry);
• Проведение бенчмарков и A/B-тестов для сравнения моделей и подходов;
• Работа с GPU-инфраструктурой: настройка multi-GPU, распределённое обучение
• Подготовка и очистка данных для обучения и оценки моделей;
• Исследование и внедрение новых моделей, техник и фреймворков;
• Написание технической документации и ADR (Architecture Decision Records);
• Участие в код-ревью и менторинг младших специалистов;
• Взаимодействие с продуктовой командой для определения требований и приоритетов;
• Оптимизация стоимости облачной GPU-инфраструктуры;
• Обеспечение безопасности и надёжности ML-сервисов в продакшене.

Что ждём от вас

• Python;
• Python 3.10+ (async/await, type hints, dataclasses). SOLID, Clean Architecture, DI. pytest + mocks, Ruff/Black/MyPy, Poetry/uv, Git & CI/CD;
• LLM / VLM
• Transformer (attention, KV-cache).
• Модели: GPT-4, LLaMA 3, Mistral, Qwen, LLaVA, GPT-4o.
• Fine-tuning: LoRA/QLoRA, PEFT, RLHF, DPO.
• Prompting: CoT, ReAct, Few-shot. Evaluation: LLM-as-judge, perplexity. Tokenization (tiktoken);
• LangChain & LangGraph
• LangChain (LCEL, Agents, Tools, Memory), LangGraph (multi-agent graphs), RAG-пайплайны, Vector DB (Chroma, Pinecone, Qdrant, pgvector), LangSmith;
• Инференс
• vLLM (PagedAttention, continuous batching), Quantization (GPTQ, AWQ, GGUF), Serving (vLLM, TGI, TensorRT-LLM), OpenAI-compatible API.
• PyTorch & DL
• PyTorch, Hugging Face (Transformers, PEFT, TRL), Distributed (DDP, FSDP, DeepSpeed), BF16/FP16.
• GPU & Инфраструктура
• NVIDIA (H100, A100, RTX 4090), multi-GPU parallelism, Cloud (AWS/GCP/RunPod), мониторинг nvidia-smi;
• Backend
• FastAPI, Pydantic v2, async (asyncio, httpx), WebSockets/SSE, JWT.
• DevOps
• Docker (GPU), Docker Compose, Kubernetes basics, GitHub Actions, Prometheus/Grafana;
• Хранилища
• PostgreSQL + pgvector, Redis, S3, Vector DBs, Kafka/RabbitMQ.
• Nice to Have
• CrewAI, AutoGen, MLflow/W&B, Airflow, Streamlit/Gradio.
• Уровни опыта:
• Junior: Python, PyTorch, LangChain, Docker
• Middle: Fine-tuning, RAG, vLLM, FastAPI, LangGraph
• Senior: Архитектура, distributed training, MLOps
• Lead: Стратегия, оптимизация затрат, лидерство
• Soft Skills: Аналитическое мышление, техническая коммуникация, быстрое обучение, English B2+, Agile.

Что предлагаем