Инженер по качеству агентов (Agent Quality Engineer)

Что предстоит делать

Вот перевод текста на русский язык: На протяжении более 20 лет Smartsheet помогает людям и командам достигать — ну, всего. От бесшовного управления работой до умных, масштабируемых решений — мы всегда работали в потоке. Мы создаем инструменты, которые дают командам возможность автоматизировать рутину, находить инсайты и масштабироваться умнее. Но что еще важнее, мы создаем пространство — пространство для масштабных идей, действий и работы, которая действительно имеет значение. Потому что, когда вызов встречается с целью, а страсть превращается в прогресс, это магия в действии, и ради этого мы приходим каждый день. Smartsheet строит следующее поколение управления работой на базе ИИ с помощью SmartAssist, нашей платформы интеллектуальных агентов. По мере того как мы переходим от ранних демо-версий к агентам production-уровня, качество становится критически важным рубежом, и мы ищем **Agent Quality Engineer**, который возьмет на себя эту ответственность. Это не роль в QA. Это глубоко техническая позиция с высокой степенью автономии на стыке оценки LLM, инженерии промптов и контекста, а также генерации с дополнением извлечением (RAG). Вы будете диагностировать причины сбоев наших агентов, проектировать системы для выявления регрессий и добиваться измеримых улучшений в нашем оркестраторе и флоте саб-агентов. Вы будете тесно работать с командами Agent Engineering и AI Platform, будучи частью команды, которая уже запустила инфраструктуру оценки на Databricks/MLflow и движется к созданию зрелого жизненного цикла разработки агентов (ADLC). **Вы будете:** - Отвечать за качество агентов от начала до конца: диагностику, улучшение и валидацию оркестратора и саб-агентов SmartAssist - Выявлять режимы отказов по различным аспектам качества — фактическая точность, полнота, тон, действенность и задержка — и определять приоритеты для исправления - Добиваться улучшений качества с помощью инженерии промптов, настройки RAG, корректировки контекста и улучшения инструментов - Разрабатывать и поддерживать автоматизированные пайплайны оценки на Databricks/MLflow, которые фиксируют регрессии и отслеживают прогресс - Создавать и поддерживать эталонные наборы данных (golden datasets) для оценки агентов, охватывающие реальные сценарии использования - Участвовать в проектировании и рецензировании архитектуры агентов, чтобы обеспечить тестируемость и наблюдаемость с самого начала - Вносить вклад в развивающийся Agent Development Lifecycle (ADLC) в Smartsheet, определяя стандарты и лучшие практики обеспечения качества **Ваш опыт:** - 5+ лет в инженерии качества, разработке ПО или на смежных глубоко технических ролях - Глубокое понимание архитектуры LLM-агентов, включая оркестрацию, RAG, вызов инструментов и управление контекстом - Опыт систематической оценки LLM: методологии, метрики, создание эталонных наборов данных и анализ ошибок - Сильные навыки программирования на Python; опыт работы с Databricks, MLflow или аналогичными платформами для ML/оценки - Опыт работы с CI/CD и автоматизацией тестирования в production-средах - Отличные навыки коммуникации и способность объяснять сложные проблемы качества различной аудитории **Выделитесь среди других:** - Опыт работы с LangChain, LangGraph, CrewAI или другими фреймворками для агентов - Знакомство с observability-инструментами для LLM (такими как Langfuse, Weights & Biases, Arize) - Опыт настройки и дообучения LLM с использованием RLHF или аналогичных методов - Понимание принципов безопасности и ответственного использования ИИ **Почему стоит присоединиться к Smartsheet?** - Бесплатная подписка на Smartsheet - Конкурентная заработная плата и бонусы на основе акций - Полностью оплачиваемая медицинская страховка с низкой франшизой для вас и ваших иждивенцев - Программа 401(k) с взносами компании до 50% от ваших взносов (до лимита, установленного IRS) - Щедрый оплачиваемый отпуск по уходу за ребенком - Ежегодный грант на обучение в размере 5 250 долларов США - Гибкий график работы **Равные возможности трудоустройства** В Smartsheet мы гордимся тем, что являемся работодателем, предоставляющим равные возможности. Мы не дискриминируем по признаку расы, религии, цвета кожи, национального происхождения, пола, сексуальной ориентации, возраста, семейного положения, статуса ветерана или инвалидности. Ваша уникальность приветствуется — присоединяйтесь к нам и создавайте пространство для всех. Пожалуйста, укажите слово **FRESHER** и тег RODguMTk4Ljk5LjE0Mw== при подаче заявки, чтобы показать, что вы полностью прочитали описание вакансии (#RODguMTk4Ljk5LjE0Mw==). Это бета-функция для предотвращения спама от соискателей. Компании могут искать эти слова, чтобы найти кандидатов, которые прочитали это и видят, что они люди.