Дата инженер ИИ/AI Data Engineer

Что предстоит делать

Навыки: ClickHouse, Docker, SQL, LLM, Langgraph, LangChain, ETL. Квалификация: Senior. Специализации: Инженер по данным. Мы строим собственную агентскую платформу корпоративного уровня — enterprise-аналог открытых агентских систем. Ищем инженера, который возьмёт на себя ядро системы и будет развивать его, опираясь на актуальные исследования и production-практику. Эта роль на стыке глубокой инженерии (производительное ядро) и работы с LLM/ML. **Стек:** ClickHouse, SQL, LLM, ETL **Чем предстоит заниматься:** - Проектирование и развитие корпоративного DWH на ClickHouse: архитектура, модель данных, выбор движков таблиц (семейство MergeTree), партиционирование, шардирование, материализованные представления. - Построение и поддержка ETL/ELT-пайплайнов загрузки данных из внешних систем-источников. - Разработка системы стандартов на данные (data contracts): единые требования к структуре, форматам, типам и качеству данных, поступающих из источников. - Создание и ведение каталога данных / data dictionary с детальным описанием структуры и бизнес-смысла каждого набора данных (метаданные, документация, семантический слой). - Контроль качества данных: валидация, тесты на данные, мониторинг. - Оптимизация производительности хранения и аналитических запросов. - Проектирование и разработка агентского слоя (LLM-агентов) поверх данных DWH, закрывающего произвольные аналитические запросы пользователей (text-to-SQL / диалоговая аналитика). - Интеграция LLM, разработка инструментов и функций для агентов, организация семантического слоя для корректной работы агентов с данными. - Настройка процессов оценки и улучшения качества ответов агентов (evals). - Настройка разграничения прав доступа к данным средствами СУБД: RBAC, row-level и column-level политики в ClickHouse. - Документирование архитектуры и принятых решений **Наши ожидания:** - Опыт в data-инжиниринге от ~4 лет, уровень Senior. - Глубокий опыт работы с ClickHouse (или сильный опыт с другими OLAP/колоночными СУБД + готовность быстро войти в ClickHouse): движки таблиц, оптимизация. - Опыт проектирования DWH с нуля, владение подходами к моделированию данных (Kimball / Data Vault / wide tables и т.п.). - Уверенный SQL и навыки оптимизации запросов. - Опыт построения ETL/ELT-пайплайнов (Airflow / dbt / аналоги). - Python (или другой язык для дата-инжиниринга и интеграции с LLM). - Практический опыт с LLM и построением агентов: агентские фреймворки (LangChain / LlamaIndex / аналоги), function/tool calling, RAG, text-to-SQL. - Понимание подходов к управлению качеством данных и data governance / data contracts. - Опыт настройки разграничения прав доступа в СУБД. **Будет большим преимуществом:** - Опыт с semantic / metrics layer. - Опыт LLMOps и оценки качества агентов (evals, мониторинг). - Опыт с инструментами каталогизации данных (DataHub / OpenMetadata / Amundsen). - Опыт работы с большими объёмами данных и высоконагруженными системами. **Мы предлагаем:** - Официальное трудоустройство и полный пакет социальных льгот (ДМС, компенсация фитнеса/обучения/путешествий, скидки и бонусы от партнеров, специальные условия и тарифы на продукты «Финама»). - Стабильную заработную плату и социальные гарантии, которые дают уверенность в настоящем и открывают перспективы в будущее. - Возможность профессионального роста, обучения и постоянного развития в области digital-innovations вместе с дружной командой. Лучшие конференции и мастер-классы за счет компании. - Участие в проектах, которые формируют цифровую трансформацию финансового сектора. - Гибридный формат работы (2 дня офис). Комфортный офис в центре Москвы с зоной отдыха на крыше, кофе-поинтами с ароматным кофе, а также собственный тренажерный зал. - Богатую корпоративную культуру: классные внутрикорпоративные мероприятия, сообщества по интересам, возможность проявлять свои творческие, спортивные, интеллектуальные, социальные интересы и участвовать в креативных проектах.