QA инженер по автоматизации тестирования AI-агентов

Что предстоит делать

Навыки: Python, Автоматизация тестирования, Langgraph, LLM. Квалификация: Senior. Специализации: Инженер по автоматизации тестирования. Привет! Мы — команда AI-агентов, и мы создаём новый способ взаимодействия с привычными продуктами 2ГИС и Отелло. Мы уверены, что в ближайшем будущем общение с AI-ассистентами станет таким же естественным, как использование мобильных приложений сегодня. Сейчас мы ищем QA инженера, который поможет нам воплотить это будущее в жизнь. ## Чем предстоит заниматься: - Участвовать в проектах по разработке AI-ассистентов на базе API 2ГИС с текстовыми и голосовыми интерфейсами. - Организовать и выстроить процесс тестирования AI-агентов. - Подготавливать тестовые сценарии и данные. - Проводить различного рода тестирование (ручное, функциональное, E2E, нагрузочное и пр.) AI-агентов на всем цикле разработки. - Участвовать в формировании стратегического плана развития AI-ассистентов в продуктах 2ГИС, разработке roadmap. ## Фреймворки и инструменты тестирования AI: - **Langfuse.** Трейсинг и мониторинг AI пайплайнов. - **Интеграционное тестирование.** End-to-end сценарии с реальными API. **Тестирование цепочек рассуждений агента. **Проверка контекстной памяти и диалогов. - **Системное тестирование.** Performance под нагрузкой (latency, throughput). Стресс-тестирование при высоком количестве запросов. Тестирование деградации при недоступности внешних API. - **Safety Testing.** Prompt injection. Тестирование на генерацию вредного контента. Проверка обработки персональных данных. - **Robustness Testing.** Adversarial inputs и edge cases. Тестирование на неполных или противоречивых данных. - **Продакшн мониторинг.** Настройка алертов на качество ответов агента. Трекинг пользовательской удовлетворенности (ratings, feedback). ## Что вам понадобится для успеха: - Опыт работы в тестировании от 5 лет. - Опыт написания автотестов на Python от 3 лет. - Опыт формирования процесса тестирования продукта с высокой нагрузкой. - Знание архитектур AI-агентов (ReAct, Tool Use, RAG, Multi-Agent и пр.). - Понимание принципов работы LLM (токенизация, промпты и пр.). - Опыт работы с LangChain/LangGraph или аналогичными фреймворками. - Понимание недетерминированности AI-систем и методов ее контроля. ## Будет плюсом: - Опыт работы в быстро развивающихся компаниях или стартапах. - Опыт работы с Jira, Confluence. - Знание принципов RAG (Retrieval-Augmented Generation). ## Почему у нас классно: - 2ГИС – аккредитованная IT-компания. - Можно работать удалённо на территории РФ — для нас важны твоя экспертиза и результат, а не локация.. Если хочешь работать в гибридном формате, есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске. - Заботимся о здоровье: ДМС и возможность получать онлайн-консультации и терапевта, невролога, психолога и медицинского агента. - Если хочешь делиться своим опытом, мы только за — поможем с выступлениями на конференциях и статьями для Хабра/VC. - У нас есть собственный учебный центр: курсы, тренинги и книги для прокачки скиллов. **Будем рады развивать продукты вместе :)**