Data/AI Engineer

Что предстоит делать

Отвечает за: • ETL из СУБД, построение DWH со SCD2-историей • RAG-слой на pgvector (семантический поиск по шаблонам запросов и описаниям таблиц) • Интеграцию с локальной LLM через Spring AI • Безопасную валидацию и исполнение сгенерированного SQL • API-слой между дашбордом/чатом и данными Нужно уметь: Ядро — Java/Spring: • Java/Kotlin + Spring Boot — уверенный уровень, это основа всего стека • Spring Boot REST API — разработка backend-слоя для чат-интерфейса дашборда Данные и ETL: • Spring Batch — джобы инкрементальной загрузки, идемпотентность (повторный запуск без дублей), обработка частичных сбоев • PostgreSQL + pgvector — установка расширения, проектирование логических схем (dwh и semantic_search в одной БД), права доступа, партиционирование по времени • SQL продвинутого уровня — оконные функции, CTE, оптимизация запросов • SCD Type 2 на практике (valid_from/valid_to/is_current) • Flyway (или аналог) — версионирование миграций схемы AI-слой: • Spring AI: • ETL Pipeline (DocumentReader → Transformer → Writer) — кастомные ридеры под ЕПВО, обогащение метаданными • PgVectorStore — настройка размерности вектора, выбор индекса (HNSW) • ChatClient + Advisors — сборка RAG-контекста, chat memory • Tool/Function calling — логика "шаблон → фолбэк на генерацию SQL" • OllamaChatModel / OllamaEmbeddingModel — интеграция с локальной моделью Безопасность запросов: • JSqlParser (или аналог) — валидация сгенерированного SQL: только SELECT, whitelist схем/таблиц, лимиты строк и времени • Настройка read-only доступа на уровне JDBC-соединения • Логирование пайплайна "вопрос → шаблон/SQL → результат" для аудита Желательно, но не критично на старте: • Опыт администрирования GPU-инфраструктуры (Ollama, CUDA)