Инженер по качеству AI-агентов
Правотех ищет инженера, который возьмёт на себя качество AI-агентов в продукте для юристов: проверять сценарии до релиза, гонять E2E-тесты через агентов-тестировщиков, оценивать ответы модели и RAG, разбирать трейсы в Langfuse. Нужен опыт от 3 лет в AQA или backend на Python, год практики с LLM-агентами, pytest, Playwright, Docker и CI. Работа в небольшой быстрой команде, где изменения выходят каждый день.
Отклик отправляется на сайте источника. Регистрация в Taylor для перехода не нужна.
Зарплата ниже рынка
На 12% ниже медианы QA по 167 вакансиям за 90 дней, рынок — СНГ (RUB); город и грейд вакансии не учтены.
Что предстоит делать
Правотех создает продукты для юристов. Мы развиваем наш продукт — Право(Агент), который передаёт юридическую работу AI-агентам. Команда небольшая и быстрая: изменения в агентах выходят каждый день, и мы ищем инженера, который возьмёт качество агентов в свои руки.
- Следить за изменениями в агентах, скиллах, промптах и RAG и проверять затронутые сценарии до релиза.
- Составлять E2E-сценарии работы юриста в чате и запускать их через агентов-тестировщиков: тесты идут параллельно, отчёты собираются автоматически.
- Проверять ответы модели с помощью LLM-as-a-judge и калибровать оценки по разметке юристов.
- Тестировать RAG: качество поиска, точность ссылок, соответствие ответа источникам.
- Разбирать трейсы в Langfuse и телеметрию: где ошибся агент, сколько стоил и сколько длился каждый шаг.
- Готовить короткие отчёты: что сломалось, кто чинит, как сделать агента быстрее и дешевле.
- Писать автотесты API и UI, вести регрессию в CI, заводить баг-репорты.
- Что для нас важно
- От 3 лет опыта в AQA или backend-разработке на Python.
- От года практики с LLM-агентами или LLM-приложениями: тестирование или разработка агентных систем.
- Опыт LLM-as-a-judge и оценки RAG.
- Langfuse или аналоги (LangSmith, Phoenix, OpenTelemetry): трейсы, датасеты, подсчёт токенов и стоимости.
- Python, pytest, автотесты API и UI (Playwright или аналог), Docker, CI.
- Понимание устройства агентов: вызовы инструментов, контекст, кэш промпта, reasoning-токены.
- Самостоятельность и скорость: вы сами замечаете изменение, тестируете его и приносите отчёт.
- Будет плюсом
- Опыт backend-разработки на Python.
- Понимание архитектуры гибридного RAG.
- Pet-проекты с агентными системами.
- Профильное IT-образование.
Стек и инструменты
Сколько платят вам?
Анонимно укажите, сколько вы получаете как QA-инженер, — сразу покажем, в скольких вакансиях платят меньше. А из ответов сложится зарплата, которую платят на деле, а не обещают.
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Ещё в ПравоТех
2 активные вакансии в компании
Продуктовый инженер-лидер
ПравоТех ищет продуктового инженера-лидера для развития AI-сервиса ПравоКонсультант. Нужно лично писать код на TypeScript и React, руководить командой от 4 инженеров и отвечать за пользовательские метрики. Предлагают 600–700 тыс. ₽ на руки в месяц плюс бонус, удалённый или гибридный формат и высокую самостоятельность.
Похожие вакансии
6 вакансий
Старший инженер по ручному тестированию (Senior Manual QA Engineer)
~1 008 000 – 1 568 000 ₸ оценка по стеку, все рынки
Нужен опытный ручной тестировщик для долгосрочного проекта на part-time (около 45 часов в месяц) по B2B-договору. Тестировать многоязычную веб-платформу на CMS и мобильные приложения iOS/Android: функциональное, регрессионное и исследовательское тестирование, API и бэкенд, ведение тест-кейсов в Jira/Xray. Требуются 3+ года на уровне Senior, сертификат ISTQB CTFL и подтверждённый немецкий и английский от B2; работа удалённая с редкими выездами в Вену.
Инженер по автоматизации тестирования
~1 008 000 – 1 568 000 ₸ оценка по всем рынкам
РТЛабс ищет инженера по автоматизации тестирования для цифровых сервисов Госуслуг. Нужно поддерживать и развивать фреймворк автотестов, писать скрипты, работать с пайплайнами Jenkins и GitLab, ревьюить код коллег. Требуется от 3 лет опыта автоматизации frontend и backend, уверенный Python3, ElasticSearch, Allure и навыки автоматизации LLM-агентов. Предлагают гибрид или удалёнку, ДМС, квартальные бонусы и обучение.
Старший QA инженер
~1 008 000 – 1 568 000 ₸ оценка по всем рынкам
Nauchsoft ищет опытного QA-инженера на проект новой облачной ERP-платформы, охватывающей продажи, заказы, склад, закупки, финансы и логистику. Нужно вручную тестировать сложные бизнес-процессы, API и данные в БД, а также активно применять Claude Code и AI-агентов в повседневной работе и постепенно наращивать автотесты. Требуется 8+ лет в тестировании, опыт с ERP и API, знание SQL и английский B2+, предлагают удалёнку, оплачиваемый отпуск 25 дней, медстраховку и обучение за счёт компании.
AQA-инженер
~1 008 000 – 1 568 000 ₸ оценка по всем рынкам
Нужен AQA-инженер для автоматизации тестирования backend-сервисов и веб-приложений: писать автотесты на Java, развивать тестовые фреймворки, тестировать API и сервисы через HTTP и брокеры сообщений. Требуется опыт автотестов на Java от 3 лет, знание SQL, Selenide, TestNG, RestAssured, понимание Kubernetes и Linux. В плюс — нагрузочное тестирование и JMeter.
Тестировщик веб-приложений
~1 008 000 – 1 568 000 ₸ оценка по всем рынкам
Нужен опытный ручной тестировщик для высоконагруженной образовательной платформы: тест-кейсы, ручное тестирование UI, тестирование API и работа с БД, ведение тестовой документации и мониторинг логов. Требуется от 6 лет опыта тестирования веб-приложений, знание техник тест-дизайна и практические навыки работы с ИИ. Предлагают удалёнку, официальную зарплату, ДМС, обучение и корпоративные бонусы.
QA Automation инженер
~1 008 000 – 1 568 000 ₸ оценка по всем рынкам
Нужен опытный QA Automation инженер для высоконагруженной брокерской платформы, которую строят на инфраструктуре Ozon Банка. Предстоит писать бэкенд-автотесты на Python (PyTest, Requests), развивать инфраструктуру тестирования, интегрировать автотесты в CI и менторить младших коллег. Ждут опыт автоматизации от 3 лет, знание тест-дизайна, API (gRPC, GraphQL, REST), Docker, Git и Bash; плюсом будет опыт в финтехе и понимание финансовых рынков.