AI Call Quality Analyst

Что предстоит делать

Компания в режиме скрытого запуска, работающая в сфере облачных Health-Tech решений на базе ИИ, ищет AI Call Quality Analyst. Бизнес-домен вращается вокруг обеспечения лучшего ухода для пациентов в США; то есть речь идёт о качественном лечении пациентов. Компания была основана более пяти лет назад. Это не пустой проект — их платформа поддерживает сети американских врачей (IPA), обеспечивая более умный, риск-адаптированный и более прогнозный уход, который улучшает реальные результаты для пациентов. Компенсация и льготы: Оплачиваемый отпуск В компании действует политика неограниченного PTO, а также дополнительно компенсируются новогодние праздники. Злоупотребление этой политикой не приветствуется, однако вполне возможно взять как минимум двухнедельный — полностью оплачиваемый — отпуск или больше. Корпоративное оборудование Компания предоставляет корпоративное оборудование сотрудникам, которые прошли испытательный срок, а также доказали свою ценность. Средства коммуникации Мы используем Google Workspace, Slack, Zoom и аналогичные инструменты для совместной работы — для обмена сообщениями, проведения встреч и обмена документами по всей организации. Мы не используем Microsoft Outlook, Microsoft Teams и аналогичное программное обеспечение. Cloud-Native Есть реальная возможность реализовывать большинство решений в Cloud-Native подходе и через Third-Party Integrations, редко поднимая что-то self-hosted (например, на GKE). Полностью Serverless подход на основе Cloud Functions и Cloud Run определённо не приветствуется. Тимбилдинг Компания частично компенсирует расходы на тимбилдинг-мероприятия, когда несколько членов команды находятся в соседних странах.

• Отвечать за качество наших коммуникаций с пациентами на базе ИИ — определять, что значит «хорошо», выявлять, где всё ломается, и продвигать исправления на уровне агента, сценария и проверок.
• Ключевые направления работы
• QA диалогов: анализировать голосовые/чат-взаимодействия с ИИ и оценивать их по заданной поведенческой рубрике.
• Оценка и мониторинг: отвечать за автоматизированные проверки и цикл человеческого ревью; поддерживать достоверность сигнала о качестве.
• Непрерывное улучшение: превращать выводы в конкретные изменения для агента, сценария диалога и набора тестов.
• За что вы будете отвечать:
• Определять и поддерживать рубрику качества — поведенческие проверки (выход за сценарий, галлюцинации, разрешение вопроса, обработка экстренных ситуаций, «кринж»/странное поведение) и их критерии pass/fail.
• Мониторить продакшн-звонки — анализировать репрезентативную выборку, проводить человеческую аннотацию, а также измерять и корректировать дрейф автоматического LLM-судьи.
• Находить первопричину и маршрутизировать каждый дефект — определять, относится ли он к промпту агента, сценарию диалога, data pipeline или конфигурации телефонии.
• Продвигать исправления вместе с командой AI — приносить инженерам приоритизированные, воспроизводимые находки, предлагать изменение промпта там, где дефект находится в промпте, и добавлять регрессионные/автотест-кейсы перед каждым релизом.
• Согласовывать изменения с бизнесом — согласовывать изменения сценария и скрипта с клиническими/операционными стейкхолдерами, балансируя опыт пациента, комплаенс и результаты.
• Отчитываться о качестве простым языком — тренды, дашборды и решения о готовности к релизу для нетехнических стейкхолдеров.
• Требуемый опыт:
• 3+ года в QA / анализе качества клиентских коммуникаций (контакт-центр, CX или conversational AI) — мониторинг и оценка живых взаимодействий по рубрикам, предоставление действенной обратной связи и доведение до подтверждённой реализации (не просто отчётность — подтверждение того, что исправление вышло и сработало).
• Опыт ведения цикла оценки качества LLM/агентов — LLM-as-a-judge, человеческая аннотация, регрессия на golden sets. Уверенное чтение транскриптов и структурированных логов (JSON) и использование базового SQL / грамотности в данных для срезов метрик.
• Практический prompt engineering — написание, версионирование и итерация продакшн-промптов: системных промптов для голосовых/чат-агентов на LLM и промптов-оценщиков для проверок LLM-as-a-judge.
• Практический опыт оценки голосовых и/или чат-ИИ-агентов (RetellAI или аналогичные LLM-agent платформы). Практическое понимание сценариев диалога, интентов и режимов отказа — barge-in, ошибки ASR/TTS, обработка голосовой почты, пути эскалации и fallback.
• Сильные аналитические и коммуникационные навыки — умение переводить технические находки в бизнес-эффект и обратно, а также удерживать планку качества между командами без формальных полномочий (мостик между бизнесом ↔ AI-командой).
• Опыт в Healthcare, Health-Tech и MedTech — большое преимущество.
• Языки
• Английский — C1 или выше; способность презентовать работу и вести дискуссии с коллегами, клиентами и стейкхолдерами из США.
• Свободный русский для сотрудничества с русскоязычными коллегами.
• Испанский — плюс; наши пациенты обслуживаются на английском и испанском.