Инженер по ИИ/LLM (Python)

Что предстоит делать

<p><strong>Наш клиент</strong></p><p><strong>WebPros</strong> стремится предоставлять businesses по всему миру передовые решения в области веб-хостинга, автоматизации биллинга, инфраструктуры, управления серверами и онлайн-маркетинга. С момента нашего основания в 2017 году мы быстро выросли в глобального лидера, расширив наш надежный портфель такими брендами, определяющими индустрию, как cPanel &amp; WHM, Plesk, WHMCS, SolusVM, XOVI, SocialBee, Sitejet и Comet Backup.</p><p>Сегодня мы обеспечиваем работу более 85 миллионов веб-сайтов на более чем 900 000 серверах по всему миру, опираясь на команду из более чем 650 преданных своему делу профессионалов на нескольких континентах.</p><p><strong>О роли:</strong></p><p>Вы будете владеть движком: алгоритмами анализа, поиском (retrieval), оценочной средой (evaluation harness) и агентами, которые превращают находку в примененное исправление. Это не подстройка промптов поверх чужой модели, а логика, которая определяет, является ли истиной то, что мы говорим клиенту.</p><p>Эта последняя часть и есть суть работы. Любой может заставить языковую модель выдать правдоподобную рекомендацию. Доказать, что она верна, — вот что сложно, потому что эталонная истина (ground truth) меняется каждый раз, когда обновляется модель, и именно поэтому клиент заплатит нам, а не спросит у ChatGPT сам. Если вас когда-либо раздражали AI-инструменты, которые звучат уверенно, но не могут показать свои расчеты, — это та работа, где вы сможете это исправить.<br><br><br><strong>Ключевые обязанности:</strong></p><ul><li>Вы владеете аналитическим движком. Атрибуты и правила оценки, которые определяют, может ли модель понимать бизнес, являются ядром продукта, и поддержание их в наилучшей форме — ваша задача. Когда поведение модели меняется, вы замечаете это, выясняете, что это значит для наших правил, и либо внедряете изменение, либо обосновываете его необходимость.</li><li>Оценочная среда (evaluation framework). Наборы эталонных данных (ground-truth sets), метрики и обнаружение регрессий, которые работают, несмотря на тот факт, что измеряемый объект каждый раз отвечает по-разному. Без этого большая часть остального списка невозможна.</li><li>Поиск (Retrieval). Извлечение текста с реальных веб-сайтов, решение о том, как его разбивать на фрагменты (chunking), выбор модели эмбеддингов и сохранение пути от каждого нашего утверждения к странице, с которой оно взято.</li><li>Агентная архитектура (agentic architecture). Один агент, несколько или простой конвейер использования инструментов (tool-use pipeline). Вы должны определить, что подходит лучше, и объяснить почему с точки зрения стоимости и задержки, а не предпочтений. Мы еще не определились с этим.</li><li>Выбор модели и стоимость за запуск. Сравнение передовых (frontier) моделей с моделями с открытым весом (open-weight), а затем маршрутизация, чтобы мы платили за дорогой вариант только там, где это меняет ответ.</li><li>Защитные механизмы (Guardrails) и наблюдаемость (observability). Валидация того, что входит и что выходит, противодействие prompt-инъекциям, выявление галлюцинаций и достаточное количество трассировки, чтобы знать, куда на самом деле уходят деньги и задержка.</li><li>Превращение исследований в production-код. Чтение публикаций о поведении LLM и GEO и обоснование доказательствами необходимости смены подхода, если они это подтверждают.</li></ul><p><strong>Ваша квалификация</strong></p><p><strong><em>Обязательные требования</em></strong></p><ul><li>Production Python. Это наш стек, и вы будете работать с ним ежедневно, наряду с FastAPI, PostgreSQL и pytest.</li><li>Вы использовали LLM SDK напрямую, а не только через обертку, и знаете тот момент, когда фреймворк оркестрации, такой как LangChain, LangGraph или Pydantic AI, перестает окупаться.</li><li>Вы создавали поиск (retrieval), работающий в production, включая сложные части: извлечение, разбиение на фрагменты, выбор модели эмбеддингов, понимание того, когда поиск не является ответом, и использование векторного хранилища, такого как pgvector или Qdrant.</li><li>Вы правильно оценивали LLM-систему. Реальный набор данных, метрики, выходящие за рамки точного совпадения, и судья (judge), проверенный на человеческих метках, а не принятый на веру. Langfuse, Promptfoo и Ragas — это примеры подходящих инструментов. Вы достаточно хорошо понимаете поведение модели, чтобы относиться к нему скептически. Вы можете сформулировать гипотезу о том, почему поиск или ранжирование вели себя определенным образом, проверить ее и четко изложить результаты.</li><li>Инженерия промптов, контекста и среды (harness engineering). Написание инструкции — это простая часть. Важно то, что попадает в контекстное окно, что вы исключаете и что вы строите вокруг модели. DSPy — один из примеров таких инструментов.</li><li>Вы проектировали агентные системы и можете объяснить, почему выбрали эту архитектуру, а не другие.</li><li>Вы поддерживали работу такой системы в production. Трассировка, атрибуция токенов и затрат, задержка, частота ошибок и использование этих цифр для решения, что исправлять в первую очередь. Langfuse, LangSmith и Prometheus находятся в этой области.</li><li>Вы знаете, как такие системы выходят из строя при adversarial-воздействии: prompt-инъекции через просканированный контент, вывод, который хорошо читается, но ложен, и что на самом деле ловит валидация. Guardrails AI, LLM Guard и NeMo Guardrails — это примеры.</li></ul><p><strong><em>Желательно</em></strong></p><ul><li>Знакомство с SEO, генеративной оптимизацией для поисковых систем (GEO) или продуктами для видимости в поиске.</li><li>Классический NLP: классификация, распознавание именованных сущностей, анализ тональности.</li><li>WordPress, интеграции с CMS, schema.org или llms.txt.</li><li>Краулинг и извлечение данных в масштабе, включая рендеринг JavaScript, ограничение частоты запросов и качество контента.</li><li>Практика управления и оценки рисков в области AI, например, EU AI Act.</li></ul><p><strong>Процесс собеседования</strong></p><p>• Скрининг-звонок с рекрутером (интервью о soft skills) ~ 20 мин<br>• Интервью с нанимающим менеджером (45 мин)<br>• Техническое и культурное интервью (60 мин)<br>• Оффер</p><p>_____</p><p><strong>Вопросы и ответы:</strong></p><p><em>— Предусмотрен ли испытательный срок, и если да, то какой продолжительности?</em><br>Да, испытательный срок составляет 3 месяца.<br>— <em>Какой ожидаемый график работы?</em><br>Полная занятость, гибкий график. Вы можете работать удаленно, а также можете выбрать гибридный режим, сочетая работу в офисе (в офисе во Львове) и удаленно.<br>— <em>Сколько предоставляется отпускных и больничных дней?</em><br>Ежегодный оплачиваемый отпуск — 20 рабочих дней / 7 не требующих подтверждения больничных дней/отгулов в год.</p><p><strong>Социальный пакет и льготы:</strong></p><ul><li>Полная медицинская страховка</li><li>MacBook и аксессуары</li><li>Уроки английского языка</li><li>Помощь бухгалтера</li><li>Минимум бюрократии, синергия и формальностей, основной фокус на эффективной коммуникации</li></ul> <div> <a href="https://jobs.dou.ua/companies/lvivit/vacancies/371805/#reply-btn-id">Откликнуться на вакансию</a> </div>