ML Engineer (LLM)

Что предстоит делать

<p>Национальный банк Украины — современное независимое государственное учреждение, призванное обеспечивать ценовую и финансовую стабильность в государстве и способствовать экономическому росту Украины. </p><p>Мы интегрируемся в международное сообщество центральных банков, создаем для этого эффективную и устойчивую финансовую экосистему, способствуем развитию инновационных финансовых технологий, повышению финансовой осведомленности и инклюзии граждан. </p><p>Мы — современный центральный банк, пользующийся доверием общества, действующий для благосостояния граждан и государства.</p><p><br><strong>Функциональные задачи:</strong></p><ul><li> Анализ и выбор open-source <nobr>LLM-моделей</nobr> под specific use cases банка: document processing, Q&amp;A, анализ транзакций;</li><li> Model optimization: quantization (GPTQ, AWQ, GGUF), pruning, distillation для уменьшения размера модели и увеличения скорости на ограниченной GPU-инфраструктуре;</li><li> Fine-tuning моделей на собственных данных банка: LoRA, QLoRA, PEFT с учетом data privacy и регуляторных ограничений;</li><li> Настройка inference-серверов: vLLM, Triton Inference Server, llama.cpp — оптимизация throughput и latency;</li><li> Разработка и поддержка evaluation pipelines: метрики качества модели (BLEU, ROUGE, custom business metrics);</li><li> Разработка промптов и RAG-архитектура (Retrieval-Augmented Generation) для интеграции с внутренними knowledge bases банка:</li><li> Документирование моделей: model cards, performance benchmarks, versioning;</li><li> Координация с DevOps для обеспечения production-готовности моделей и инфраструктуры.</li></ul><p><strong>Мы предлагаем:</strong></p><ul><li>Возможность для профессионального развития в стабильной и прозрачной организации;</li><li>Возможность быть причастным к развитию страны;</li><li>Рыночный уровень оплаты труда, премии на основе оценки результатов работы (KPI);</li><li>Программы обучения;</li><li>Негосударственное корпоративное пенсионное страхование;</li><li>Комфортные условия труда и гибкий график работы;</li><li>Коллектив единомышленников.</li></ul><p><strong>Наши ожидания от кандидата:</strong></p><ul><li> Высшее образование;</li><li> Опыт работы от 4 лет;</li><li> Уровень английского языка не ниже A2;</li><li> 3+ года опыта в Machine Learning / Deep Learning с акцентом на NLP;</li><li> Глубокий опыт с Python, PyTorch или TensorFlow;</li><li> Знание <nobr>LLM-архитектур:</nobr> Transformer, attention mechanisms, tokenization;</li><li> Опыт с fine-tuning и адаптацией моделей: LoRA, QLoRA, PEFT;</li><li> Понимание model quantization и optimization техник (GPTQ, AWQ, INT8);</li><li> Опыт с open-source моделями: Llama, Mistral, GPT-2/Neo или аналогичными;</li><li> Знание контейнеризации: Docker/Kubernetes;</li><li> Понимание RAG-архитектуры и vector databases (pgvector, Milvus, Qdrant).</li></ul><p>Желательные навыки:</p><ul><li> Опыт с NVIDIA TensorRT и оптимизацией моделей под GPU;</li><li> Знание Hugging Face ecosystem (transformers, datasets, PEFT);</li><li> Опыт с MLOps: MLflow, Weights &amp; Biases, или аналогичными;</li><li> Понимание банковских процессов и регуляторных требований к AI (EU AI Act, guideline НБУ);</li><li> Опыт с data pipelines и ETL для подготовки training data.</li></ul> <div> <a href="https://jobs.dou.ua/companies/national-bank-of-ukraine/vacancies/344731/#reply-btn-id">Откликнуться на вакансию</a> </div>