QA Engineer (Python, автотесты, ML)

Что предстоит делать

Мы команда Data World, входим в ГК Технос - представители амбициозной и технологичной сферы IT. Создаем ПО для ФинТеха. Топовые банки уже доверили нам самые сложные высокотехнологичные проекты. На старте еще один интересный и высокотехнологичный проект для Сбера. Проект: Мы создаём платформу нового поколения на стыке электронной коммерции и финансовых технологий. В основе — мультиагентная система и автономные AI-агенты, которые берут на себя поиск, переговоры и заключение сделок. Мы переосмысливаем привычные пользовательские сценарии: от простого подбора до полностью автономного исполнения задач. Проект на ранней стадии: fast-track прототип до 15.08, проверка ключевых гипотез, подготовка к масштабированию до 15.11. Работа в кросс-функциональной команде с прямым контактом между разработчиками, аналитиками и владельцем продукта.

• Чем предстоит заниматься
• Вы — единственный специалист по качеству в команде с ответственностью от тест-стратегии до eval-ов ML-компонентов и нагрузочного тестирования. Ваша задача — чтобы на каждом демо платформа работала предсказуемо, а метрики компонентов были измеримы и прозрачны.
• Тест-стратегия и процессы
• Разработать тест-стратегию для всего прототипа: что тестируем, на каком уровне, с какими инструментами, в какой момент.
• Выстроить процесс тестирования в команде: когда пишутся тесты, кто за что отвечает, как фиксируются баги.
• Автотесты
• Написать автотесты API: валидация контрактов между всеми сервисами (TG-бот ↔ агент покупателя, агент покупателя ↔ A2A-сервер, A2A-сервер ↔ агент мерчанта, эскроу), проверка кодов ответов и таймаутов, иные.
• Написать интеграционные автотесты: сквозные цепочки — «задача → оффер → акцепт → эскроу → завершение», «задача → отмена → возврат».
• Поддерживать автотесты в актуальном состоянии при изменениях API.
• Ручное тестирование
• Проводить прогон пользовательских сценариев по CJM перед каждым демо.
• Тестировать корнер-кейсы.
• Eval-ы ML-компонентов
• Совместно с DS/ML-инженером (LLM) автоматизировать eval-ы интента: прогон набора из 50–100 запросов, сравнение с ожидаемым structured intent, расчёт точности и полноты.
• Совместно с DS/ML-инженером (LLM) и бизнес-аналитиком организовать eval-ы ризонинга.
• Совместно с DS/ML-инженером (ML) автоматизировать eval-ы ранжирования.
• Совместно с DS/ML-инженером (ML) автоматизировать eval-ы матчинга: расчёт precision, recall.
• Нагрузочное тестирование
• Провести нагрузочное тестирование A2A-сервера и эскроу, других ключевых компонент системы.
• Регресс и баг-трекинг
• Проводить регрессионное тестирование перед каждым демо: автоматизированный прогон + ручной чек-лист ключевых сценариев.
• Вести баг-трекинг: фиксировать, приоритизировать, отслеживать исправление.

Что ждём от вас

• Опыт: от 2 лет в тестировании, из них от 1 года в автоматизации.
• Python: уверенное владение для написания автотестов (pytest, requests/httpx).
• API-тестирование: опыт валидации REST API и/или JSON-RPC, понимание контрактного тестирования.
• Интеграционное тестирование: опыт написания тестов с поднятием окружения.
• Ручное тестирование: опыт тестирования сложных пользовательских сценариев, а не только изолированных функций.
• Самостоятельность: способность выстроить тестирование с нуля в новом проекте.
• Опционные требования:
• Опыт тестирования ML/LLM-компонентов или участия в eval-циклах.
• Опыт нагрузочного тестирования.
• Опыт тестирования чат-ботов или диалоговых интерфейсов.
• Опыт в e-commerce, fintech или маркетплейсах.
• Опыт запуска MVP/пилотов с быстрым циклом обратной связи.

Что предлагаем