Старший ML инженер

Что предстоит делать

О вакансии Мы нанимаем Senior ML Engineer, который станет владельцем продакшн-систем машинного обучения и AI-агентов в команде данных. Вы будете переводить модели от прототипа в продакшн, создавать и поддерживать низколатентный ML API, который питает наш движок Next Best Action (NBA), а также сотрудничать с нашей командой HAL для запуска LLM-агентов, превращающих рекомендации NBA в реальные разговоры с членами кредитных союзов и партнерами. Это роль строителя в момент строительства: NBA выходит в продакшн, инфраструктура агентов формируется прямо сейчас, и вы определите, как Clutch будет делать продакшн AI на долгие годы вперед. О команде Команда данных сегодня состоит из пяти человек: один дата-сайентист, два дата-инженера, один дата-аналитик и один продакт-менеджер. Мы небольшие, амбициозные и быстро выпускаем продукты — две ML-модели готовятся к продакшну, строится ML API, и два AI-агента (один для клиентов, один для партнеров) находятся в активной разработке. Вы будете старшим техническим голосом по ML и AI-инженерии внутри команды и мостом к HAL, платформенной команде, которая создает среду выполнения агентов Clutch. Ожидайте тесные циклы обратной связи, реальную автономию и команду, которая ценит прагматизм выше чистоты теории. Что вы будете делать В течение 3 месяцев вы: Возьмете на себя ответственность за ML API, который обслуживает рекомендации NBA, в партнерстве с дата-инженером, который его строил, и укрепите его для низколатентного продакшн-трафика Запустите end-to-end первый контракт инструмента агента: проектирование схемы, реализация обработчика, контракт со структурированными ошибками, модульные тесты, развертывание через среду выполнения HAL Настроите основу для eval'ов наших агентов: золотые транскрипты, рубричные судьи, регрессионные наборы, которые запускаются при каждом изменении промпта или модели Построите рабочие отношения с HAL и станете для команды данных экспертом по решениям в инфраструктуре агентов В течение 6 месяцев вы: Станете основным владельцем (при поддержке дата-инженера) ML API и слоя инструментов агента, который оборачивает NBA и наши ML-модели Запустите как минимум одного агента продакшн-уровня (для клиентов или партнеров) с версионированием промптов, eval'ами, наблюдаемостью и многопользовательским шлюзованием Определите плейбук команды данных для запуска новой ML-модели как вызываемого LLM инструмента, end-to-end Наставите дата-инженеров по паттернам ML/AI, чтобы они могли уверенно поддерживать и расширять системы, которыми вы владеете В течение 9 месяцев вы: Будете работать как технический лид внутри команды данных для продакшн AI NBA в Clutch — человек, к которому другие команды приходят, когда хотят понять, как NBA ответственно запускает ML и агентов Измеримо улучшите стоимость и задержку агентов (цель: снижение P95 задержки или стоимости за разговор как минимум на 30% для хотя бы одного агента) Будете формировать дорожную карту команды данных для следующего поколения ML и AI-продуктов в партнерстве с PM и дата-сайентистом Поможете нам решить, кого нанимать следующим по мере масштабирования команды Что вы принесете Обязательно 7+ лет опыта в инженерии с подтвержденным опытом создания и запуска продакшн ML-систем — вы переводили модели от прототипа в продакшн и отвечаете за то, что происходит после развертывания Сильный Python — большая часть работы (обучение ML, оценка, ML API, пайплайны данных) выполняется на Python, и вы уверенно работаете в продакшн-кодовых базах, а не только в ноутбуках. Немного TypeScript требуется для контрактов инструментов и интеграции с нашей средой выполнения агентов — вам не нужно быть экспертом, достаточно уверенного владения вторым языком Дисциплина проектирования инструментов для потребления LLM. Умение взять ML-модель или источник данных и оформить их в вызываемый LLM инструмент с узкими схемами ввода/вывода, диспетчеризацией с обязательной идентификацией и ограничением области видимости, а также контрактами со структурированными ошибками (RATE_LIMITED, UPSTREAM_ERROR, NOT_FOUND), которые среда выполнения агента преобразует в корректные результаты инструмента вместо сбоев Дисциплина eval'ов для недетерминированных систем. Вы относитесь к eval'ам как к аналогу модульных тестов для агентов: золотые транскрипты, рубричные судьи, регрессионные наборы, которые запускаются при каждом изменении промпта или модели. Вы понимаете разницу между офлайн-метриками и онлайн-eval'ами и используете оба Грамотность в форме промптов. Вы читаете системный промпт так, как другой инженер читает код: аудитория, регистр, защитные ограничения соответствия, белый список переменных шаблона, раздел разрешенных инструментов. Вы отлаживаете "почему агент сделал это?", читая промпт и описания инструментов, прежде чем прибегать к замене модели. Вы запустили как минимум одного агента, где промпт был под версионным контролем и рецензировался как код Тщательность реализации инструментов. Вы строите обработчики за контрактами инструментов с полями идентификации, читаемыми из контекста запроса (никогда из аргументов, предоставленных LLM), выходными данными, повторно разобранными через схему инструмента перед возвратом, структурированными ошибками на каждом пути сбоя и модульными тестами, покрывающими как счастливый путь, так и каждую именованную ошибку. У вас есть история об инструменте, который вы запустили, ошибке, выявленной продакшн-трафиком, и о том, как вы его укрепили Опыт создания и поддержки низколатентных продакшн API (FastAPI, BentoML или эквивалент) с мнениями по обслуживанию, пакетной обработке и кэшированию Уверенная работа в AWS (особенно Lambda), Docker и GitHub-ориентированных рабочих процессах Вы активно используете AI-инструменты в своем инженерном рабочем процессе — не как новинку, а как стандарт. Ожидается, что вы продемонстрируете это во время технической оценки Желательно Наблюдаемость продакшн-агентов: чтение строк аудита, распределенные трассировки, метрики задержки и ошибок по каждому инструменту Интуиция по компромиссам стоимости и задержки в циклах агентов — измеримо снизили стоимость за разговор или P95 задержку на живом агенте Знакомство с фреймворком среды выполнения агентов (Vercel AI SDK, LangChain, LlamaIndex или эквивалент) Опыт многопользовательского шлюзования агентов Предыдущий опыт в SaaS и/или FinTech Приятно иметь, но не обязательно: Databricks, PySpark, Terraform Обратите внимание, что эта роль может меняться по мере изменения наших бизнес-потребностей, поэтому мы ценим вашу гибкость и адаптивность. Что вы получите Удаленная гибкость: Наслаждайтесь свободой удаленной работы из любого места, легко балансируя между жизнью и карьерой. Незабываемые офлайн-мероприятия: Дважды в год объединяйтесь с коллегами в захватывающих местах, укрепляя командную работу и свежие идеи. Оплачиваемый отпуск и национальные праздники: Получайте 20 дней оплачиваемого отпуска в год и национальные праздники для отдыха и восстановления. Опционы на акции: Присоединяясь к нам, вы получаете долю в нашем успехе, поэтому вы получите опционы на акции как часть вашего компенсационного пакета. Обустройство домашнего офиса: Создайте идеальное рабочее пространство с выделенным бюджетом на офисные принадлежности. Бюджет на рабочие поездки: Развивайтесь лично и профессионально с бюджетом на рабочие поездки и коворкинг. О нас Clutch — это революционная вертикальная SaaS-компания, гордо поддерживаемая Andreessen Horowitz (A16z), нацеленная на революцию в том, как кредитные союзы взаимодействуют и меняют жизнь своих членов. Как защитник финансового благополучия, мы решаем насущную потребность в доступных кредитных решениях в эпоху, когда средний американец борется с более чем $155 000 долга домохозяйства. В отличие от традиционных финансовых учреждений, Clutch разрабатывает программное обеспечение, чтобы превратить кредитные союзы в FinTech-кредиторов и использовать их балансы для ответственного кредитования более 130 миллионов американцев. Наша миссия выходит за рамки простых финансовых транзакций; мы стремимся фундаментально улучшить то, как кредитные союзы взаимодействуют со своими членами. Интегрируя передовые технологии и дизайн, ориентированный на пользователя, мы помогаем кредитным союзам предоставлять бесшовные цифровые возможности, которые соответствуют ведущим технологическим компаниям. Этот подход не только сохраняет, но и возрождает давнюю традицию ориентированного на сообщество и членов обслуживания, присущую кредитным союзам. Обратите внимание: Эта позиция предлагается на контрактной основе. Кандидаты должны иметь необходимые документы и разрешение на работу в стране, где находится работа. Clutch не может предоставить спонсорство или помощь в получении разрешений на работу для этой роли. Пожалуйста, упомяните слово **THRILLED** и укажите RODguMTk4Ljk5LjE0Mw== при подаче заявки, чтобы показать, что вы полностью прочитали описание вакансии (#RODguMTk4Ljk5LjE0Mw==). Это бета-функция для избежания спам-заявок. Компании могут искать эти слова, чтобы найти кандидатов, которые это прочитали, и убедиться, что они люди.