Старший Data Engineer (Identity)

Что предстоит делать

Мы ищем Senior Data Engineer для присоединения к команде Identity в Equals5. Это не стандартная ETL-роль. Мы создаем динамичную экосистему данных, где AI глубоко интегрирован — как в качестве множителя производительности, так и как ключевой компонент нашей логики обработки данных для обогащения и скоринга идентификационных данных. Вы будете владеть инфраструктурой, которая обрабатывает более 10 000 выполнений в минуту, обеспечивая стабильность, масштабируемость и целостность данных. Вы будете работать с современным стеком на Google Cloud Platform, используя Cloud Functions и Kubernetes. Мы ищем инженера, который улучшает инфраструктуру, автоматизирует всё и стремится внедрять логику на основе LLM непосредственно в высоконагруженные потоки данных. **Обязанности** * **AI-управляемый скоринг данных:** Проектируйте и внедряйте пайплайны, которые используют LLM для анализа и скоринга идентификационных данных в реальном времени. Вы будете интегрировать AI-модели непосредственно в цикл принятия решений, балансируя между точностью, задержкой и стоимостью. * **Владение архитектурой данных:** Проектируйте масштабируемые решения для данных с использованием GCP и Python. Вы будете управлять хранением и извлечением данных с помощью BigQuery и Apache Iceberg для поддержки запросов к терабайтам данных. * **Тяжелая обработка данных:** Используйте Apache Spark для трансформаций данных и пакетной обработки, когда легковесных облачных функций недостаточно. * **Управление высоконагруженной оркестрацией:** Поддерживайте и оптимизируйте экземпляры нашей системы. Это включает сложные потоки данных, пользовательские узлы Python и настройку производительности для 10 000+ выполнений в минуту. * **Жизненный цикл релизов (CI/CD):** Возьмите на себя ответственность за процесс развертывания, обеспечивая безопасный выпуск обновлений пайплайнов и инфраструктуры с надлежащими стратегиями тестирования и отката. * **Оптимизация баз данных:** Управляйте производительностью PostgreSQL под высокой нагрузкой, оптимизируя сложные запросы и стратегии индексации. * **Активное использование AI:** Используйте Claude Code и другие инженерные AI-инструменты для ускорения собственной разработки, рефакторинга и процессов тестирования. * **Устранение инцидентов:** Проактивно мониторьте систему. Когда срабатывают оповещения, вы расследуете первопричину — будь то блокировка базы данных или галлюцинация LLM — и устраняете её навсегда. **Требования** * 4-5+ лет опыта в Data Engineering или Backend Engineering с сильным фокусом на данные. * **Продакшн-интеграция AI:** Опыт интеграции LLM (OpenAI, Anthropic, Gemini) в продакшн-приложения через API. Вы понимаете задержки, лимиты токенов и то, как структурировать данные для AI-скоринга. * **Экспертиза в GCP:** Понимание Google Cloud Platform (Cloud Functions, IAM, Networking). * **Сильный Python:** Вы пишете чистый, эффективный и тестируемый код. Вы уверенно чувствуете себя при создании пользовательской логики там, где стандартные инструменты не справляются. * **Big Data стек:** Опыт работы с BigQuery, Apache Spark и современными табличными форматами, такими как Apache Iceberg. * **Kubernetes (K8s):** Опыт развертывания и масштабирования сервисов в контейнеризированных средах. * **Автоматизация рабочих процессов:** Глубокое техническое понимание инструментов оркестрации рабочих процессов. N8N является важной частью нашего домена, поэтому знакомство с ним высоко ценится. * **Мастерство PostgreSQL:** Подтвержденная способность работать с высокими нагрузками на запись/чтение и оптимизировать схемы. * **Английский язык:** B2+ (Upper-Intermediate) или выше. **Культура и образ мышления** * **Саморазвитие:** Вы быстро учитесь. Вы не боитесь, что AI заменит вас; вы овладеваете им, чтобы заменить свои ручные задачи. * **Ответственность:** Вы относитесь к домену Identity как к собственному бизнесу. Если модель скоринга дрейфует или пайплайн замедляется, вы замечаете это и исправляете без напоминаний. * **Внутренний локус контроля:** Вы берете на себя ответственность за результаты. Если внешний API выходит из строя, вы создаете механизм отката вместо того, чтобы просто винить провайдера. * **Доведение до результата:** Вы отдаете приоритет поставке ценности. Вы знаете, когда использовать простой скрипт, а когда строить сложную архитектуру. * **Открытость:** Вы свободно делитесь знаниями. Если вы находите лучший способ задать промпт AI для скоринга, вы делитесь им с командой. **Что мы предлагаем** * Полная удаленная работа с гибким графиком (согласованным с часовыми поясами ЕС для синхронизации). * **AI-нативная среда:** Мы предоставляем лицензии на Claude Code и поощряем использование передовых AI-технологий как для ежедневного кодинга, так и для функций продукта. * **Роль с высоким влиянием:** Вы будете напрямую влиять на то, как мы идентифицируем и оцениваем пользователей, воздействуя на основную бизнес-логику. * **Межфункциональная видимость:** Тесная работа с Product и Tech Leads для формирования будущего Identity. * **Отсутствие бюрократии:** Быстрые решения, никаких устаревших процессов, фокус на результатах.