Старший Data Engineer

Что предстоит делать

<p><strong>Ciklum</strong> ищет <strong>Senior Data Engineer</strong> для присоединения к нашей команде на полную занятость в Украине.</p> <p>Мы — компания по разработке заказных продуктов, которая поддерживает как транснациональные корпорации, так и масштабирующиеся стартапы в решении их самых сложных бизнес-задач. Имея глобальную команду из более чем 4 000 высококвалифицированных разработчиков, консультантов, аналитиков и владельцев продуктов, мы создаем технологии, которые переопределяют индустрии и формируют образ жизни людей.</p> <p><strong>О роли:</strong></p> <p>В качестве Automation QA Engineer вы станете частью кросс-функциональной команды разработчиков, создающей технологии завтрашнего дня. Проект Legacy Code Semantic Documentation — это 26-недельная корпоративная инициатива для глобального лидера промышленной автоматизации. Основная цель — разработать автоматизированный конвейер с использованием AI для генерации структурированной системной документации в формате Markdown непосредственно из недокументированной кодовой базы объемом ~400K строк (охватывающей языки IEC 61131-3 и ANSI C/C++).</p> <p>Работая в выделенном защищенном тенанте с нулевым экспортом данных, техническая архитектура сочетает в себе Tree-sitter AST парсинг, графы знаний Neo4j, векторный поиск Qdrant и самостоятельно размещенные open-weight LLM (семейство Llama 3.1 / Mixtral) с NLI-валидацией. Поставка структурирована по 7 рабочим пакетам, выполняемым в течение 6-месячного периода, и регулируется строгими контрактными KPI: ≥95% покрытие кода, ≥92% фактическая точность, подтвержденная NLI, и ≥90% приемлемость по оценке SME. Все результаты соответствуют требованиям EU Cyber Resilience Act (EU CRA) для SBOM и трассируемости на уровне исходного кода.</p> <h2>Обязанности:</h2><ul> <li>Обеспечение качества AI-вывода: разработка и запуск автоматизированных тестовых наборов для проверки недетерминированной LLM-генерируемой документации на соответствие исходному коду и строгим порогам точности NLI</li> <li>Валидация конвейеров данных: проверка согласованности состояния, целостности схемы и точности трансформации данных при пакетных выполнениях в графах знаний Neo4j и векторных базах данных Qdrant</li> <li>Регрессионное и оценочное тестирование: создание автоматизированных тестовых фреймворков для отслеживания дрейфа качества вывода, уровня галлюцинаций и производительности конвейера при выпуске версий кода</li> <li>Управление тестовыми наборами данных: создание и поддержка эталонных наборов для оценки («золотых наборов данных») для непрерывного бенчмаркинга выходных данных LLM-промптов и точности поиска</li> <li>Кросс-функциональное взаимодействие: тесное сотрудничество со старшими AI/ML инженерами и Data Engineer для определения автоматизированных критериев приемки, регистрации дефектов и проверок работоспособности конвейера</li></ul> <h2>Требования:</h2><ul> <li>Профессиональный опыт: 3+ года в Automation Quality Assurance (AQA) с большим фокусом на бэкенд-системы, сложные конвейеры данных или AI-приложения</li> <li>Обязательный опыт в предметной области:</li> <li>Прямой опыт тестирования AI/LLM-выводов (оценка недетерминированного сгенерированного текста, скоринг уверенности и логика NLI-утверждений)</li> <li>Прямой опыт тестирования конвейеров данных и ETL (проверка пакетной обработки, целостности схемы и трансформаций данных)</li> <li>Автоматизация и скриптинг: продвинутое владение Python и тестовыми фреймворками, такими как PyTest</li> <li>Навыки работы с базами данных и запросами: практический опыт написания запросов для проверки графовых баз данных (Neo4j/Cypher), векторных хранилищ (Qdrant) или SQL-баз данных</li> <li>Инженерные стандарты: владение Docker, Git, автоматизацией REST API и интеграцией тестов в CI/CD конвейеры</li> <li>Язык: профессиональное владение английским (B2+/C1)</li></ul> <h2>Что мы предлагаем?</h2><ul> <li>Сильное сообщество: работайте вместе с лучшими профессионалами в дружелюбной среде с открытой дверью</li> <li>Фокус на росте: беритесь за масштабные проекты с глобальным влиянием и расширяйте свой опыт</li> <li>Индивидуальное обучение: повышайте свои навыки с помощью внутренних мероприятий (митапы, конференции, воркшопы), доступа к Udemy, языковых курсов и сертификаций за счет компании</li> <li>Безграничные возможности: исследуйте различные домены через внутреннюю мобильность, находя наилучшее соответствие для получения практического опыта с передовыми технологиями</li> <li>Гибкость: наслаждайтесь радикальной гибкостью — работайте удаленно или из офиса, на ваш выбор</li> <li>Забота: мы позаботимся о вас с помощью медицинской страховки за счет компании, поддержки ментального здоровья, а также финансовых и юридических консультаций</li></ul> <p><strong>О нас:</strong></p> <p>В Ciklum мы всегда исследуем инновации, поддерживая друг друга в достижении больших результатов и создавая решения, которые имеют значение. С нами вы будете работать с передовыми технологиями, вносить вклад в значимые проекты и быть частью культуры One Team, которая ценит сотрудничество и прогресс.<br><br>Будучи одной из крупнейших IT-компаний Украины и лучшим работодателем по версии Forbes, мы уже более 20 лет создаем значимые технологические решения. Мы с гордостью поддерживаем разнообразные таланты и ветеранов военной службы, признавая их уникальные навыки и перспективы, которые они привносят в формирование будущего.<br></p> <p><strong>Исследуй, расширяй возможности, создавай с Ciklum!</strong></p><p>Уже заинтересованы? Мы будем рады познакомиться с вами! Отправьте вашу заявку. С нетерпением ждем встречи с вами в Ciklum.</p> <div> <a href="https://jobs.dou.ua/companies/ciklum/vacancies/368961/#reply-btn-id">Відгукнутись на вакансію</a> </div>