QA Automation Engineer

Что предстоит делать

Привет! Команда Evrone занимается продуктовой разработкой стартапов и помогает в цифровой трансформации бизнеса в России, США и Европе. Думаю, что вы о нас слышали от Григория Петрова (Evrone Devrel) Сейчас мы находимся в поиске QA Automation Engineer на AI-проект. Подробнее про позицию: • Проект: Voice AI Platform (название под NDA). • Платформа для создания AI-ассистентов, которые общаются с пользователями по телефону и через web в режиме реального времени. Объединяет LLM, Speech-to-Text, Text-to-Speech и Voice AI в единый пайплайн. Используется для автоматизации клиентской поддержки, продаж и других сценариев коммуникации. • Команда - около 10 QA Engineers (Middle, Senior + QA Lead) в тесной связке с Backend, ML, DevOps и Platform Engineers. • Зона ответственности команды - качество четырех AI-продуктов компании. Команда развивает автоматизацию тестирования, систему оценки LLM, процессы канареечных релизов и quality gates. Также отвечает за SLO Voice AI-пайплайна и качество production-релизов. Что делать: • разработка и поддержка фреймворков автоматизации на PyTest и Playwright; • тестирование API, Voice AI и event-driven сценариев; • оценка качества LLM (LLM-as-a-Judge, Rubric-based Evaluation); • сопровождение canary release, A/B testing и rollback; • контроль SLO AI-сервисов; • работа с Kubernetes и production-окружением; • взаимодействие с ML-командой по качеству моделей и датасетов. • Стек: Python, PyTest, TypeScript, Playwright, k6, Kubernetes, Docker, GitLab CI/CD, Nebius AI Cloud, Azure, WebRTC, LiveKit, SIP, Linux, GenAI. Какой опыт для нас важен • Automation QA. От 3-х лет • Python, PyTest, Playwright, TypeScript; • CI/CD, canary release и quality gates; • AI / LLM • Тестирования AI/LLM-продуктов или систем оценки моделей; • Понимание LLM-as-a-Judge, Rubric-based Evaluation или аналогичных подходов; • Понимание SLO/SLI для AI-сервисов; • Разговорный английский. Коммуникация с членами команды будет идти на английском; Будет плюсом опыт с: • Kubernetes и Linux; • k6 или другие инструменты нагрузочного тестирования; • WebRTC, SIP, LiveKit или телефония; • Nebius AI Cloud или другие GPU Cloud-платформы; • MLOps и ML-инфраструктурой. Этапы интервью: • HR Interview (Soft-skills, eng-checking, motivation, etc); • Evrone Tech-interview; • Project Tech-interview; • Project Manager interview (soft-skills, culture-fit). Почему Evrone: • Мы занимаемся технически сложными, высоконагруженными, наукоёмкими проектами, проектами с большой бизнес логикой или большой серверной инфраструктурой. Нам доверяют: аналитику, проектирование интерфейсов и дизайн, разработку, инфраструктуру и эксплуатацию. Мы становимся технической командой проекта целиком или консультируем и расширяем возможности существующих команд наших клиентов. • Кроме того, Evrone помогает развиваться сообществу разработчиков. Мы делаем самую большую в России конференцию по Ruby — RubyRussia, проводим технические митапы, делаем свой новостной дайджест, а также спонсируем и помогаем в проведении конференций по Go, Python, React/Vue и функциональным языкам. • Наши инженеры выступают на ведущих конференциях России и Европы и вносят вклад в Open Source проекты, мы берем интервью у лидеров комьюнити и пишем статьи на самые горячие темы индустрии. В этом году мы ставили стенд и выступали на конференциях Highload и TeamLeadConf. • Вся команда работает удаленно с 2008 года. Мы знаем как организовать распределенную разработку комфортно и эффективно. Есть офисы для работы и встреч в Москве и Воронеже, а также офисы продаж в Сан-Франциско и Берлине. • Про наши последние проекты можно почитать тут: evrone.ru/technologies/golang Что предлагаем: • Удаленную фултайм работу и мягкий график. Достаточно синхронизировать тайм-зоны и иметь пересечения рабочего времени с командой; • Качественный онбординг и hr-менеджмент (1:1, Grow Review). По желанию меняем проекты, не даем стагнировать. При формировании команды проекта учитываем профессиональные или личные интересы разработчиков; • Работу в разновозрастном, разнополом и потрясающе дружном и профессиональном коллективе; • Хорошо организованный воркфлоу, отсутствие бюрократии. Работа на доверии. • Наши разработчики работают только над одним проектом. Без постоянных переключений между ними. Одна из ценностей Evrone – работа с удовольствием. Для этого мы придумали Evrone Benefits. Каждому из нас выделяется годовой бюджет, автоматически пополняемый каждый новый год вашей работы в Evrone. Его можно потратить на полезные категории трат, направленные на: • ДМС и здоровье; • Спорт и абонемент для фитнеса или инвентарь для спорта; • Курсы иностранного языка; • Техника для работы и улучшение рабочего места; • Обучение: курсы, тренинги, мастер-классы, семинары, книги и конференции. Бонусы и премии: • Повышение зарплаты по мере роста компетенций (по результатам ассессмента); • Премии за привлечение новых сотрудников и новых клиентов; • Дополнительная премия за выступления на конференциях и митапах; • У вас есть возможность принять участие в проведении технических интервью специалистов, которые могут стать вашими коллегами. Проведение интервью оплачивается. Обучение и рост компетенций: • Проводим митапы. Вы можете быть как и слушателем, так и спикером; • У нас есть культура менторства. В повседневных задачах и планировании карьеры будет помогать наставник; • Развивать профессиональный уровень можно с помощью системы ассессмента Evrone Challenge; • Есть внутренняя библиотека с электронными книгами и записанными курсами; • Работаем и дружим с западными заказчиками, есть возможность практиковать свой английский. Возможность стать докладчиком или автором: • Если вы хотите выступить на оффлайн конференции, мы поможем вам подготовить контент для доклада и сделаем крутые слайды. DevRel Evrone (Григорий Петров) поможет подготовиться к выступлению на конференции, окажем поддержку на самой конференции и подготовим материалы с вашим докладом. • Если вы хотите выступить на онлайн конференции, помимо помощи по подготовке доклада и подбору конференции, мы организуем вам студийную съемку или трансляцию вашего доклада; • У нас есть блоги на всех популярных платформах России и мира. Наши редакторы и профессиональные авторы еженедельно выпускают новые материалы; • Если вы написали статью, мы нарисуем для нее иллюстрации и поможем вам ее оформить и опубликовать. Если у вас есть только идея - редакторы помогут сформулировать мысли, оформить пост самостоятельно и правильно опубликовать для максимального охвата. Возможность прокачаться в Open Source: • Если у вас есть популярные open source проекты – мы поможем с их продвижением и окажем поддержку в развитии; • Если вы контрибьютите в популярные проекты с открытым исходным кодом, мы оплатим часы, которые вы на это потратили. • Если вы ничего этого не делаете, но очень хочется начать – в Evrone есть менторы, которые помогут вам сделать первые шаги: подберут задачки для старта, помогут решить их и правильно оформить pr. Отдых и развиртуализация: Мы проводим ежегодный фестиваль Evrone Fest, на котором собирается вся наша команда, а также тематические встречи в различных городах. Поэтому, где бы вы ни находились, мы будем рады увидеться лично.