Инженер по качеству AI-агентов
Правотех ищет инженера, который возьмёт на себя качество AI-агентов в продукте для юристов: проверять сценарии до релиза, гонять E2E-тесты через агентов-тестировщиков, оценивать ответы модели и RAG, разбирать трейсы в Langfuse. Нужен опыт от 3 лет в AQA или backend на Python, год практики с LLM-агентами, pytest, Playwright, Docker и CI. Работа в небольшой быстрой команде, где изменения выходят каждый день.
Отклик отправляется на сайте источника. Регистрация в Taylor для перехода не нужна.
Зарплата ниже рынка
На 17% ниже медианы QA по 161 вакансии за 90 дней, рынок — СНГ (RUB); город и грейд вакансии не учтены.
Что предстоит делать
Правотех создает продукты для юристов. Мы развиваем наш продукт — Право(Агент), который передаёт юридическую работу AI-агентам. Команда небольшая и быстрая: изменения в агентах выходят каждый день, и мы ищем инженера, который возьмёт качество агентов в свои руки.
- Следить за изменениями в агентах, скиллах, промптах и RAG и проверять затронутые сценарии до релиза.
- Составлять E2E-сценарии работы юриста в чате и запускать их через агентов-тестировщиков: тесты идут параллельно, отчёты собираются автоматически.
- Проверять ответы модели с помощью LLM-as-a-judge и калибровать оценки по разметке юристов.
- Тестировать RAG: качество поиска, точность ссылок, соответствие ответа источникам.
- Разбирать трейсы в Langfuse и телеметрию: где ошибся агент, сколько стоил и сколько длился каждый шаг.
- Готовить короткие отчёты: что сломалось, кто чинит, как сделать агента быстрее и дешевле.
- Писать автотесты API и UI, вести регрессию в CI, заводить баг-репорты.
- Что для нас важно
- От 3 лет опыта в AQA или backend-разработке на Python.
- От года практики с LLM-агентами или LLM-приложениями: тестирование или разработка агентных систем.
- Опыт LLM-as-a-judge и оценки RAG.
- Langfuse или аналоги (LangSmith, Phoenix, OpenTelemetry): трейсы, датасеты, подсчёт токенов и стоимости.
- Python, pytest, автотесты API и UI (Playwright или аналог), Docker, CI.
- Понимание устройства агентов: вызовы инструментов, контекст, кэш промпта, reasoning-токены.
- Самостоятельность и скорость: вы сами замечаете изменение, тестируете его и приносите отчёт.
- Будет плюсом
- Опыт backend-разработки на Python.
- Понимание архитектуры гибридного RAG.
- Pet-проекты с агентными системами.
- Профильное IT-образование.
Стек и инструменты
Сколько платят вам?
Анонимно укажите, сколько вы получаете как QA-инженер, — сразу покажем, в скольких вакансиях платят меньше. А из ответов сложится зарплата, которую платят на деле, а не обещают.
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Ещё в ПравоТех
2 активные вакансии в компании
Продуктовый инженер-лидер
ПравоТех ищет продуктового инженера-лидера для развития AI-сервиса ПравоКонсультант. Нужно лично писать код на TypeScript и React, руководить командой от 4 инженеров и отвечать за пользовательские метрики. Предлагают 600–700 тыс. ₽ на руки в месяц плюс бонус, удалённый или гибридный формат и высокую самостоятельность.
Похожие вакансии
6 вакансий
QA Engineer
~1 014 053 – 1 635 000 ₸ оценка по всем рынкам
Нужен QA-инженер в e-commerce команду 12 STOREEZ: выстраивать процессы контроля качества, вести тестовую документацию и автоматизировать тестирование API и UI ключевых сценариев покупки. Требуется 4–5 лет опыта тестирования e-commerce проектов, навыки автоматизации и опыт построения QA-процессов. Предлагают официальное трудоустройство, ДМС, обучение, скидки на продукцию и удалённый формат.
Тестировщик (QA Engineer)
~1 014 053 – 1 635 000 ₸ оценка по всем рынкам
Крупный системный интегратор ищет опытного тестировщика для mobile/web приложений с опытом от 5 лет. Нужно уметь работать с Rest API, сложными SQL/NoSQL запросами, автотестами на Java, CI/CD и брокерами сообщений. Предлагают конкурентную зарплату, ДМС, фитнес и курсы английского, работа в аккредитованной IT-компании.
Старший QA инженер (AI-assisted test automation)
~1 014 053 – 1 635 000 ₸ оценка по всем рынкам
Нужен старший QA-инженер для проекта глобальной компании в сфере видеостриминга: автоматизация тестирования приложений на Smart TV, приставках, мобильных и веб. Требуется 5+ лет в QA, из них 4+ в автоматизации (Selenium, Appium, Cypress или Playwright), скрипты на Python/JS/Java, API-тесты и CI, а также практический опыт применения AI-инструментов в тестировании. Работа полностью удалённая, по контракту с почасовой оплатой, в международной команде с английским B2+.
Инженер по обеспечению качества (Senior)
~1 008 250 – 1 335 250 ₸ оценка по стеку
Команда поиска 2ГИС ищет senior QA-инженера для тестирования backend-сервисов и разработки автотестов на Python. Нужен опыт тестирования бэкенда от 3 лет и автоматизации на Python от 2 лет, понимание микросервисов, Docker и Kubernetes. Предлагают удалённую работу, белую зарплату, ДМС и собственный учебный центр.
Manual QA Engineer
~608 432 – 1 126 725 ₸ оценка по всем рынкам
Компания ConversionRate.Store ищет Manual QA Engineer для тестирования сайтов, SaaS-продуктов и мобильных приложений клиентов из США и Европы. Нужно минимум 2 года опыта в QA, понимание веб-тестирования, юзабилити и UX, базовые знания HTML/CSS, плюсом будет опыт с A/B-тестами и REST API. Предлагают конкурентную зарплату с бонусами и доступ к лучшим курсам по CRO и growth hacking.
Тестировщик Middle+
~608 432 – 1 126 725 ₸ оценка по всем рынкам
Нужен тестировщик для платформы SMS-рассылок Quicktel: будете проверять веб-интерфейс и backend, тестировать REST API и писать автотесты на Java. Требуется от 3 лет опыта тестирования веб-приложений и backend, уверенный SQL и GIT. Предлагают удалёнку из любой точки мира, оформление по ТК РФ, белую зарплату и ДМС.