Провідний інженер-програміст (Data Engineer, LLM/RAG)

Что предстоит делать

<p><strong> </strong></p><p><strong>О НАС</strong></p><p>UKRSIBTECH — это амбициозная IT-команда из около 400 специалистов, которая драйвит технологии UKRSIBBANK.</p><p>Мы создаем топовый банкинг для &gt; 2 000 000 клиентов и стремимся вывести финансовую сферу в Украине на новый уровень. Нашими продуктами пользуются пользователи ежедневного банкинга, лидеры украинской экономики и крупные международные корпорации.</p><p>Мы благодарим наших защитников и защитниц, которые самоотверженно обороняют свободу и независимость Украины, и создаем благоприятную среду для работы в банке.</p><p>Мы в поиске <strong>Ведущего инженера-программиста:</strong></p><p>Мы ищем Data Engineer с выраженным фокусом на LLM / RAG, который будет отвечать за построение, автоматизацию и поддержку конвейеров обработки данных для прикладных AI-решений в направлениях ETL/ELT, подготовки данных для LLM и RAG (разбор документов, разделение на фрагменты, построение эмбеддингов, индексация в векторных хранилищах, формирование контекста для моделей), журналирования и отслеживаемости AI-решений, а также интеграции с корпоративной платформой данных на базе open-source стека и сервисов Azure, включая данные из банковских legacy-систем как одного из важных источников.</p><p>Роль предполагает тесное взаимодействие с Solution Architect, командой Data Science, DevMLOps, System Analyst, QA, Security и Compliance с фокусом на построение надежных, масштабируемых и воспроизводимых конвейеров обработки данных для LLM / RAG-решений корпоративного уровня, соответствующих требованиям управления, контроля и аудита.</p><p><strong>Ключевые зоны ответственности</strong></p><ul><li>Строить и поддерживать ETL/ELT-конвейеры обработки данных для AI/ML и <nobr>LLM-решений:</nobr> получение данных, преобразование, проверка качества, загрузка, оркестрация через Apache Airflow / Prefect и интеграция с CI/CD (GitLab CI, Azure DevOps).</li><li>Строить и поддерживать конвейеры подготовки данных для RAG и <nobr>LLM-сценариев:</nobr> разбор документов, разделение на фрагменты (fixed, semantic, recursive), генерация эмбеддингов, индексация и сопровождение векторных хранилищ (Qdrant, OpenSearch kNN, Milvus), обогащение метаданных, инкрементальные обновления, формирование и контроль качества контекста для моделей.</li><li>Обеспечивать инфраструктуру журналирования и отслеживаемости для AI- и <nobr>LLM-решений:</nobr> журналирование прогнозов и взаимодействия с LLM (запросы, ответы, токены, задержка), аудит использования моделей, отслеживаемость происхождения данных и контекста, а также конвейеры аудиторского следа для соответствия требованиям и управления данными.</li><li>Внедрять и поддерживать механизмы контроля качества данных для AI / <nobr>LLM-решений:</nobr> автоматизированную валидацию данных, управление схемами, контракты данных, обнаружение аномалий в потоках данных, контроль качества контекста и отчетность по качеству.</li><li>Интегрировать конвейеры данных для AI и LLM с корпоративной платформой данных: Cloudera (CDP/CML), Spark, Hive, HDFS, обеспечивая бесшовный поток данных между корпоративным хранилищем данных, банковскими legacy-системами как источниками данных, конвейерами поиска релевантного контекста и компонентами AI-платформы.</li><li>Строить и поддерживать слой предоставления данных: REST / gRPC API (FastAPI), событийно-ориентированную интеграцию (Kafka / RabbitMQ), кеширование данных (Redis) для обеспечения быстрого доступа к данным и контексту для AI- и <nobr>LLM-компонентов.</nobr></li><li>Обеспечивать управление данными и соответствие требованиям: документирование происхождения данных, каталогизацию данных, политики хранения, анонимизацию / псевдонимизацию данных в соответствии с GDPR, EU AI Act и банковскими требованиями.</li><li>Разрабатывать и поддерживать документацию для конвейеров данных: спецификации, схемы потоков данных, словари данных, описания процессов подбора контекста, рабочие инструкции, определения SLA и процедуры реагирования на инциденты.</li></ul><p><strong>Мы в поиске специалиста, который имеет:</strong></p><ul><li>Высшее образование.</li><li>От 3 лет опыта в Data Engineering / ETL Development / Data Platform Engineering, из которых как минимум 1 год — в построении конвейеров обработки данных для AI/ML-решений, в частности для сценариев LLM / RAG, или корпоративных платформ данных.</li><li>Практический опыт построения и поддержки ETL/ELT-конвейеров с использованием Apache Airflow / Prefect и Apache Spark.</li><li>Опыт работы с Python, SQL и базами данных (PostgreSQL / Oracle, Elasticsearch / OpenSearch) в промышленной среде, включая интеграцию гетерогенных корпоративных источников данных и, желательно, банковских legacy-систем.</li><li>Опыт или понимание построения конвейеров данных для RAG / <nobr>LLM-сценариев:</nobr> разбор документов, разделение на фрагменты, построение эмбеддингов, индексация в векторных хранилищах, подготовка контекста для моделей.</li><li>Понимание специфики <nobr>LLM-решений:</nobr> подготовка данных для inference и evaluation, журналирование взаимодействия с моделями, контроль качества контекста и результатов, базовое понимание задержек, использования токенов и качества подбора контекста.</li><li>Опыт работы с сервисами Azure для работы с данными и AI/LLM-сценариями или с подобными облачными платформами.</li><li>Способность работать в регулируемой среде с требованиями к отслеживаемости данных, аудиту, управлению данными и соответствию требованиям.</li><li>Опыт работы в банке или финтех-компании будет значительным преимуществом.</li></ul><p><strong>Обязательные навыки</strong></p><ul><li>Инженерия данных: проектирование и разработка ETL/ELT-конвейеров, моделирование данных, контроль качества данных, отслеживаемость данных, пакетная и потоковая обработка.</li><li>Оркестрация: Apache Airflow / Prefect — проектирование DAG, управление зависимостями, обработка ошибок, мониторинг SLA, оповещения.</li><li>Big Data: Apache Spark (PySpark), SQL — для масштабной обработки данных в корпоративной среде.</li><li>Базы данных и хранилища: PostgreSQL, OpenSearch / Elasticsearch, Redis, S3 / MinIO / Azure Blob. Python — основной язык для построения конвейеров данных, ETL и валидации данных; SQL — для преобразования данных и проверок качества.</li><li>CI/CD для Data: интеграция конвейеров данных в GitLab CI / Azure DevOps, автоматизированное тестирование, контроль версий для кода конвейеров.</li><li>Управление данными: документирование происхождения данных, отчетность по качеству данных, управление схемами, контракты данных, понимание требований compliance.</li></ul><p> </p><p><strong>Помимо команды единомышленников и интересной работы вы получите.</strong></p><p><strong>Стабильность:</strong></p><ul><li>Трудоустройство с соблюдением требований действующего законодательства Украины </li><li>своевременная выплата заработной платы </li></ul><ul><li>программы медицинского страхования и страхования жизни</li></ul><ul><li>25 дней ежегодного отпуска, дополнительные дни отпуска на памятные события, социальные отпуска в соответствии с законодательством Украины</li><li>ежегодные пересмотры заработной платы в соответствии с персональной эффективностью и финансовыми показателями банка</li><li>установление срока испытания в соответствии с требованиями действующего законодательства</li></ul><p><strong>Развитие своих талантов ради карьеры:</strong></p><ul><li>возможность обучения: Школа лидера, Сервис дизайна, Бизнес аналитики, Data, Digital, Agile и программа развития талантов <nobr>I-Players</nobr> и широкий набор микро-тренингов (SQL, BI, EQ и т.д.)</li><li>возможность участвовать в программе внутренней и международной мобильности в BNP Paribas Group</li><li>поддержка сотрудников постоянно учиться и профессионально развиваться. Ежегодно наши сотрудники составляют индивидуальный план развития вместе с руководителем или ментором и уверенно движутся к цели</li></ul><p><strong>Лучшее место для работы:</strong></p><ul><li>Работа с периодической возможностью работать дистанционно</li><li>программа «War&amp;Life balance: как вернуть жизнь в жизнь» — это практические воркшопы со специалистами для поддержки эмоционального состояния</li><li>в рамках программы «New Ways of Working» дайджест с советами от экспертов по поддержке физического и ментального здоровья</li><li>разнообразие, инклюзивность</li><li>привлечение к проектам устойчивого развития и корпоративно-социальной ответственности<br> </li></ul><p>Хочешь узнать больше? <br> Дополнительная информация может быть предоставлена на следующих этапах рассмотрения вакансии.</p><p><strong>#veteranfriendly </strong></p> <div> <a href="https://jobs.dou.ua/companies/ukrsibbank/vacancies/365304/#reply-btn-id">Откликнуться на вакансию</a> </div>