Инженер безопасности AI/ML-систем

Что предстоит делать

Привет! Это команда безопасности платформы. Мы ищем инженера, который будет участвовать в направление безопасности систем на базе искусственного интеллекта. В компании быстро растёт число ML- и LLM-сервисов: инференс, RAG-пайплайны, ассистенты, агенты с доступом к внутренним инструментам. Вам будет необходимо проводить аудиты всех этих решений, участвовать в проектировании архитектуры и безопасного доступа для систем с LLM/ML. Вы будете • Проводить аудиты безопасности ML/LLM-систем: инференс-сервисы, RAG-пайплайны, агенты с доступом к инструментам, MCP-серверы, ML-платформа и её артефакты (модели, датасеты, фичестор). • Ломать системы на базе ИИ: прямой и косвенный prompt injection, джейлбрейки, эксфильтрация системных промптов и данных, злоупотребление tool calling, выход агента за границы разрешённого, отравление данных и моделей, атаки на цепочку поставки (веса, pickle, кастомные операторы, сторонние модели). • Развивать DAST под AI-эндпоинты: харнесс и сканер для LLM-интерфейсов, автоматизированные наборы атак, регрессионное тестирование моделей и защитных механизмов, встраивание проверок в CI/CD. • Проверять эффективность защитных механизмов (гарды входа и выхода, фильтры, лимиты, изоляция инструментов и данных) и формировать обоснованные требования к ним. • Формировать стандарты безопасной разработки AI-сервисов: модели угроз, чек-листы ревью, требования к правам агентов, работе с секретами и изоляции окружений. • Разрабатывать автоматизацию и инструментарий на Python или Go, интегрировать его с существующими системами (ASOC, Jira, CI/CD, SIEM). • Участвовать (около 20% времени) в проектах команды по безопасности приложений. • Работать в тесном контакте с командами ML-платформы, разработки и инфраструктурной безопасности. Нам важно • Практический опыт наступательной безопасности: пентесты, аудиты приложений, bug bounty. • Практическое понимание LLM/AI: как устроены инференс, RAG, агентные архитектуры и tool calling, опыт работы с API моделей и промпт-инжинирингом. • Понимание специфических рисков AI-систем и актуальных классов атак на них. • Уверенное знание классических уязвимостей веб-приложений и API. • Базовое инженерное понимание операционных систем, сетей, контейнеров и Kubernetes. • Опыт проектирования архитектуры новых процессов и сервисов, умение самостоятельно принимать и обосновывать технические решения. • Самостоятельность и готовность заходить в область, где ещё нет устоявшихся методологий, и создавать их. Будет плюсом • Публичные исследования, CVE, доклады, участие в AI red teaming или в программах bug bounty по LLM. • Знакомство с garak, PyRIT, promptfoo и аналогичными инструментами. • Опыт работы с инференс-стеком (Triton, vLLM, TGI), MLflow/Kubeflow, реестрами моделей. • Знакомство с MCP и фреймворками агентных систем (LangGraph, LangChain, CrewAI, аналоги). • Опыт разработки гардов и фильтров для LLM-трафика.