Старший Data Engineer

Что предстоит делать

<p><strong>Ciklum</strong> ищет <strong>Senior Data Engineer</strong> для присоединения к нашей команде на полную занятость в Украине.</p> <p>Мы — компания по разработке заказных продуктов, которая помогает как транснациональным корпорациям, так и растущим стартапам решать их самые сложные бизнес-задачи. Наша глобальная команда насчитывает более 4 000 высококвалифицированных разработчиков, консультантов, аналитиков и продукт-оунеров. Мы создаем технологии, которые переопределяют индустрии и формируют то, как люди живут.</p> <p><strong>О роли:</strong></p> <p>В роли Senior Data Engineer вы станете частью кросс-функциональной команды разработчиков, создающей технологии будущего.</p> <p>Проект — это корпоративная инициатива длительностью <nobr>26 недель</nobr> для глобального лидера в области промышленной автоматизации. Основная цель — создать автоматизированный AI-конвейер для генерации структурированной системной Markdown-документации непосредственно из недокументированной кодовой базы объемом ~400K LOC (охватывающей языки IEC <nobr>61131-3</nobr> и ANSI C/C++).</p> <p>Работа ведется в выделенном защищенном тенанте с нулевым экспортом данных. Техническая архитектура сочетает Tree-sitter AST-парсинг, графы знаний Neo4j, векторный поиск Qdrant и self-hosted open-weight LLM (семейство Llama 3.1 / Mixtral) с NLI-валидацией. Поставка структурирована по 7 рабочим пакетам, выполняемым в течение <nobr>6-месячного</nobr> периода, и регулируется строгими контрактными KPI: ≥95% покрытие кода, ≥92% фактическая точность, подтвержденная NLI, и ≥90% приемлемость по оценке SME. Все результаты соответствуют требованиям EU Cyber Resilience Act (EU CRA) для SBOM и трассируемости на уровне исходного кода.</p> <h2>Обязанности:</h2><ul> <li>Архитектура конвейеров данных: создание и оптимизация высокопроизводительных конвейеров обработки данных, связывающих результаты статического анализа кода, графовые базы данных, векторные индексы и оркестрационные слои LLM</li> <li>Инженерия графов знаний: проектирование и поддержка графовых схем Neo4j для отображения зависимостей кода, вызовов функций и иерархий модулей в кодовой базе объемом 400K+ LOC</li> <li>Интеграция AST: интеграция выходных данных парсера Abstract Syntax Tree (AST) (Tree-sitter) в нижестоящие графы знаний и векторные эмбеддинги (Qdrant)</li> <li>Происхождение и целостность данных: внедрение двунаправленного отслеживания перекрестных ссылок и версионирования снимков графа для обеспечения согласованности данных при пакетных прогонах документации</li> <li>Тестирование и мониторинг конвейеров: установление протоколов валидации данных и автоматизированного тестирования для проверки работоспособности конвейеров, пропускной способности и сохранения состояния</li> <li>Техническое взаимодействие: тесное сотрудничество с AI/ML-инженерами и архитекторами для оптимизации качества поиска и сборки контекста для RAG-конвейеров</li></ul> <h2>Требования:</h2><ul> <li>Профессиональный опыт: 5+ лет опыта в Data Engineering, создания сложных production-grade конвейеров данных и ETL/ELT-процессов</li> <li>Специализация в домене (необходимо покрыть как минимум ОДНУ ключевую область):</li> <li>Вариант 1 (Фокус на статическом анализе): практический опыт с парсингом Abstract Syntax Tree (AST), статическим анализом кода (например, Tree-sitter, грамматики языков) и моделированием структуры кода</li> <li>Вариант 2 (Фокус на графах знаний): непосредственный опыт с проектированием и оптимизацией графовых баз данных (Neo4j/Cypher), конвейерами обработки документации и интеграцией векторного поиска (Qdrant)</li> <li>Основной технический стек: высокий уровень владения Python, языками графовых запросов, векторными хранилищами и современными инструментами data engineering</li> <li>Инфраструктура и развертывание: знакомство с контейнеризированным выполнением (Docker, Kubernetes) в защищенных, частных или air-gapped средах</li> <li>Стандарты качества и инженерии: сильный фокус на качестве кода, автоматизированном тестировании конвейеров, CI/CD и надежном версионировании</li> <li>Язык: свободное профессиональное владение английским (C1+)</li></ul> <h2>Что мы предлагаем?</h2><ul> <li>Сильное сообщество: работа бок о бок с лучшими профессионалами в дружелюбной среде с открытой дверью</li> <li>Фокус на росте: участие в масштабных проектах с глобальным влиянием и расширение вашей экспертизы</li> <li>Индивидуальное обучение: повышение квалификации с помощью внутренних мероприятий (митапы, конференции, воркшопы), доступа к Udemy, языковых курсов и сертификаций за счет компании</li> <li>Безграничные возможности: изучение разнообразных доменов через внутреннюю мобильность, поиск наилучшего варианта для получения практического опыта с передовыми технологиями</li> <li>Гибкость: радикальная гибкость — работа удаленно или из офиса, на ваш выбор</li> <li>Забота: мы обеспечиваем медицинскую страховку за счет компании, поддержку ментального здоровья, а также финансовые и юридические консультации</li></ul> <p><strong>О нас:</strong></p> <p>В Ciklum мы всегда исследуем инновации, вдохновляя друг друга на большие достижения и создавая решения, которые имеют значение. С нами вы будете работать с передовыми технологиями, вносить вклад в значимые проекты и станете частью культуры One Team, которая ценит сотрудничество и прогресс.<br><br>Будучи одной из крупнейших IT-компаний Украины и лучшим работодателем по версии Forbes, мы уже более 20 лет создаем значимые технологические решения. Мы с гордостью поддерживаем разнообразные таланты и ветеранов, признавая уникальные навыки и перспективы, которые они привносят в формирование будущего.<br></p> <p><strong>Исследуй, вдохновляй, создавай вместе с Ciklum!</strong></p><p>Уже заинтересованы? Мы будем рады познакомиться с вами! Отправляйте свою заявку. С нетерпением ждем встречи с вами в Ciklum.</p> <div> <a href="https://jobs.dou.ua/companies/ciklum/vacancies/368745/#reply-btn-id">Відгукнутись на вакансію</a> </div>