QA Automation Engineer (TypeScript)

Что предстоит делать

Andersen ищет QA Automation Engineer (TypeScript) для проекта по разработке платформ на базе искусственного интеллекта и обеспечению качества решений интеллектуальной автоматизации. Заказчик — технологическая компания, специализирующаяся на AI-решениях и цифровых инновациях для бизнеса в различных отраслях. Организация разрабатывает интеллектуальные платформы и инструменты автоматизации, предназначенные для повышения операционной эффективности, оптимизации рабочих процессов и поддержки принятия решений на основе данных. Компания работает в международной среде, уделяя особое внимание масштабируемой архитектуре, современным инженерным практикам и практическому внедрению передовых AI-технологий. Проект направлен на разработку платформы для создания AI-агентов без технических знаний. Она позволяет компаниям развертывать готовые AI-ассистенты, которые обрабатывают коммуникацию, отчетность, анализ и задачи совместной работы через такие каналы, как электронная почта, телефон и другие.

• Проектирование, разработка и поддержка фреймворков автоматизированного тестирования для AI/LLM SaaS-платформ и агентных систем.
• Валидация сквозных автономных рабочих процессов, включая оркестрацию промптов, вызов инструментов, обработку памяти и контекста, RAG-пайплайны и процессы с участием человека (human-in-the-loop).
• Создание автоматизированных пайплайнов оценки для анализа качества рассуждений, галлюцинаций, точности, согласованности и безопасности ответов в недетерминированных AI-системах.
• Создание и поддержка регрессионных наборов, охватывающих длительные рабочие процессы, логику повторных попыток и отката, сохранение состояния диалога и сценарии восстановления после сбоев.
• Тестирование API, асинхронных пайплайнов, вебхуков, очередей и событийно-ориентированных систем в распределенных архитектурах.
• Исследование, воспроизведение и отладка проблем на уровнях фронтенда, бэкенда, инфраструктуры и LLM.
• Тесное сотрудничество с AI-инженерами, backend-разработчиками и продуктовыми командами для повышения качества, надежности, наблюдаемости и масштабируемости AI-функций.
• Вклад в автоматизацию CI/CD, решения для трассировки и мониторинга, генерацию синтетических и эталонных наборов данных, оценку ответов, а также анализ токенов и затрат для production AI-рабочих процессов.
• Обязательные требования:
• Опыт работы в QA Automation для AI/LLM SaaS-платформ и агентных систем от 3 лет.
• Практический опыт работы с фреймворками автоматизации, такими как Playwright, Cypress, Selenium или аналогичными инструментами.
• Глубокое понимание валидации автономных и мультиагентных рабочих процессов, включая оркестрацию промптов, вызов инструментов, обработку памяти/контекста, RAG-системы и процессы с участием человека (human-in-the-loop).
• Опыт тестирования недетерминированного AI-поведения и создания надежных стратегий валидации для вероятностных результатов.
• Способность проектировать и поддерживать фреймворки оценки LLM, ориентированные на качество рассуждений, обнаружение галлюцинаций, точность, согласованность и безопасность ответов.
• Уверенный опыт тестирования API, асинхронных пайплайнов, вебхуков, очередей и событийно-ориентированной архитектуры.
• Опыт валидации длительных рабочих процессов, логики повторных попыток/отката, сохранения состояния диалога и сценариев восстановления после сбоев.
• Навыки отладки и устранения неисправностей на уровнях фронтенда, бэкенда, инфраструктуры и LLM.
• Опыт работы с CI/CD-пайплайнами, автоматизированным регрессионным тестированием, трассировкой, наблюдаемостью и анализом логов.
• Глубокое понимание того, чем тестирование агентных AI-систем отличается от традиционных подходов QA, и способность создавать масштабируемые автоматизированные системы оценки для AI-агентов.
• Уровень английского языка — от Intermediate+ и выше.
• Желательно:
• Опыт работы с синтетической генерацией тестов, эталонными наборами данных, оценкой ответов и мониторингом токенов/затрат.
• Знакомство с API OpenAI или Anthropic, LangChain, LangGraph, CrewAI, AutoGen, векторными базами данных и RAG-архитектурами.
• Знание AI-безопасности, валидации ограничений (guardrails), нагрузочного тестирования и облачной или Kubernetes-инфраструктуры.
• Почему эта работа будет вам интересна:
• Опыт работы в команде с лидерами FinTech, Healthcare, Retail, Telecom и других отраслей. Andersen сотрудничает с такими компаниями, как Samsung, Siemens, Johnson & Johnson, BNP Paribas, Ryanair, Mercedes, TUI, Verivox, Allianz, T-Systems и другими.
• Возможность сменить проект и/или развить экспертизу в интересной бизнес-области.
• Условия работы — вы можете работать как полностью удаленно, так и из офиса, или выбрать гибридный вариант.
• Гарантия профессионального, финансового и карьерного роста! Компания внедрила системы наставничества и адаптации для каждого нового сотрудника.
• Возможность зарабатывать до дополнительных 1 000 USD в месяц (в зависимости от уровня экспертизы), которые будут включены в годовой бонус, участвуя в деятельности компании.
• Доступ к корпоративному обучающему порталу, где собрана вся база знаний компании и который постоянно обновляется.
• Яркая корпоративная жизнь (вечеринки / дни пиццы / PlayStation / фрукты / кофе / снеки / кино).
• Компенсация сертификации (AWS, PMP и др.).
• Реферальная программа.
• Курсы английского языка.
• Добровольное медицинское страхование и компенсация спортивных занятий.
• Присоединяйтесь к нам!