Prompt-инженер

Что предстоит делать

Навыки: Python, LLM. Квалификация: Senior. Специализации: Промпт-инженер. В SimbirSoft более 1500 разработчиков ежедневно решают интересные задачи, которые делают комфортнее жизни миллионов пользователей. Если тебе интересны сложные технические задачи, работа в команде профессионалов, возможность прокачать экспертизу на крупных отечественных проектах из разных сфер бизнеса – присоединяйся к нам! Мы ищем талантливого Prompt-инженера, которому предстоит работать над интересными высоконагруженными проектами. **Чем предстоит заниматься:** - Прототипировать, тестировать и управлять качеством решений на базе LLM; - Настраивать поведение моделей (без fine tuning) — экспериментировать с промптами (CoT, Tree-of-thoughts, few-shot, structured outputs, tool calling, etc), контекстом, параметрами моделей и архитектурой llm-пайплайнов (один промпт, цепочка промптов и т.п.); - Совместно с продактами участвовать в дизайне диалоговых сценариев; - Тестировать и оценивать качество работы llm-решений на всех этапах — собирать и регулярно актуализировать golden-сеты, валидационные выборки, создавать метрики и бенчмарки, настраивать llm-as-a-judge; - Разрабатывать инструкции для разметчиков, принимать участие в разметке (в том числе, самостоятельно размечать golden-сеты); - Анализировать логи, трейсы и фидбек по реальной работе ассистентов в продакшене и улучшать их качество на основе найденных инсайтов; - Интегрировать LLM в продукты вместе с разработчиками. **Требования:** - 1-3 года опыта решения реальных бизнес-задач с использованием LLM (цепочки промптов, structured outputs, диалоговые ассистенты); - Хороший Python, опыт работы с аналитическими инструментами (jupyter, pandas, matplotlib); - Опыт с SQL, навыки работы с данными, умение собрать датасет и провести аналитику; - Опыт с OpenAI API и аналогами; - Навыки тестирования и регресс‑проверок промптов, понимание подходов к оценке llm-систем (offline-метрики, human evaluation, llm-as-a-judge, A/B тестирование). **Будет плюсом:** - Опыт использования алгоритмов автоматической оптимизации промптов (GEPA и др); - Опыт организации процесса разметки, построения golden‑датасетов и автоматизации эвалов; - Опыт использования валидационных фреймворков и инструментов observability (DeepEval, LangFuse, MlFlow, LangSmith и др.); - Опыт с фреймворками оркестрации llm (langgraph, langchain или аналоги); - Опыт построения сложных агентных систем, RAG. **Мы предлагаем:** - Работу в команде экспертов - Широкий технологический стек, сотни проектов. - Гибкий график работы, который позволяет высыпаться и выделять время на хобби. - Возможность разрабатывать IT-решения для разных отраслей, пробовать новые технологии. - У нас выстроены процессы удаленной работы, при этом есть просторные офисы с зонами коворкинга, где можно с комфортом пообщаться, поиграть в настолки или в тишине обдумать рабочие задачи. - Возможность прокачаться во всех интересующих направлениях: стать тимлидом, архитектором, разработчиком full-stack. - Развитую систему наставничества, сертификацию за счёт компании, участие в конференциях, изучение английского языка. - Активный обмен опытом, внутренние и внешние митапы по разработке, хакатоны, доклады по развитию hard и soft skills. - 50+ клубов по интересам и профессиональных сообществ внутри компании. - Корпоративную базу знаний и социальную сеть для удобства общения с каждым из 1500+ сотрудников.