Data Engineer [Middle]

Что предстоит делать

Навыки: SQL, PostgreSQL, Python. Квалификация: Middle. Специализации: Инженер по данным. **deeplay **— продуктовая ИТ-компания. Мы создаём системы и решения в сфере интеллектуальных игр. Мы ценим идейных людей, которых заряжают нестандартные задачи и профессиональные вызовы.Тех, кто любит экспериментировать, находить уникальные решения и всегда ориентируется на результат. Если тебе близок такой подход, будем рады видеть тебя среди наших тиммейтов! Сейчас нам нужен **Data Engineer [Middle]**, который будет вносить свой вклад в развитие продуктов компании, сможет поддерживать открытое общение и дружескую атмосферу. С нами ты можешь комфортно работать из любого уголка мира, потому что мы: - **Настроили процессы технического оснащения**, чтобы можно было рассчитывать на нашу помощь в подготовке техники для работы, где бы ты ни находился. - **Выстроили систему взаимодействия **— никаких бесконечных чатов в ТГ. Работаем через онлайн-сервис управления проектами и корпоративный мессенджер с настроенной картой каналов. - **Организовываем рабочие процессы с учётом часовых поясов, **время для регулярных командных встреч подбирается максимально удобно для всех. - **Помогаем сохранять контекст** **и знакомиться с коллегами из других отделов** — регулярно проводим общие информационные и развлекательные онлайн-мероприятия, а также командные встречи с выездами в российские города и за границу. **Наш стек:** СУБД PostgreSQL / ClickHouse, Python, Apache Airflow, GitHub, Docker, Kubernetes. **Основные задачи:** - Поддержка текущего функционала продукта. - Расширение и развитие функционала действующего продукта. - Анализ логов, данных, выстраивание логических цепочек, построение и проверка гипотез; - Создание и поддержка новых дата-пайплайнов; - Работа с Clickhouse. Написание и оптимизация средних/сложных *SQL* запросов; - Анализ, подготовка и обработка данных; - Обеспечение качества данных. **Предстоит поддерживать и развивать:** - Десктопное кроссплатформенное ПО (Java 17+, Swing); - Монолитное ПО, включает в себя клиентскую и серверную части (взаимодействие посредством gRPC); - Отсутствие фрэймворка, используются собственные наработки; - Организация взаимодействия с БД (Postgre*SQL*, ClickHouse) посредством jdbc, без подключения дополнительных библиотек; - Организация работ механизмов в многопоточном режиме с помощью ExecutorService, CompletableFuture; - Покрытие кода тестами (Mockito, JUnit); - Аналитические запросы и большие объёмы данных (~60 TB). **Основное: ** - **PostgreSQL: **глубокое знание системных каталогов, статистики, индексов, партиционирование, наследование, foreign tables, EXPLAIN ANALYZE, cost model, pg_stat_statements, pg_stat_activity, pg_locks, индексные стратегии, lock monitoring - **SQL:** сложные запросы с CTE, window functions, lateral joins, динамический SQL, хранимые процедуры, триггеры, функции, query rewriting, понимание планов выполнения **Для реализации задач тебе потребуется:** - Опыт работы в аналогичной роли от 3 лет - знание теории реляционных БД, понимание логической, физической моделей БД; - опыт оптимизации сложных запросов; - опыт поиска проблем в работающих под высокой нагрузкой системах. - Опыт создания и поддержки ETL-процессов; - Глубокий практический опыт разработки на Python (pandas, numpy); - Опыт работы с Apache Airflow, самостоятельное создание DAG; - Опыт работы с СУБД PostgreSQL, написание средних/сложных и нетривиальных SQL-запросов; - Умение самостоятельно брать задачи, по необходимости уточнять требования и доводить до финального результата; - Навык поиска оптимальных решений: умение работать в условиях неопределенности, формулировать вопросы и предлагать решения. **Будет плюсом: ** - Bash: скрипты для автоматизации рутинных операций - Linux: command line (уверенный уровень), systemd, cron, bash scripting - Понимание алертинг стратегии - Опыт работы с ClickHouse - Docker (базовое понимание) - Ansible/Terraform: базовое понимание для автоматизации - Python/Pandas для сложной аналитики - Jupyter notebooks для исследовательского анализа - pgBadger для детального анализа - Мониторинг БД: анализ connection pools (PgBouncer), performance troubleshooting, анализ wait events **Мы предлагаем:** - Гибкий подход к формату и месту работы — выбирай любое место на карте или один из комфортных офисов в Омске, Новосибирске и Санкт-Петербурге; - Корпоративную культуру: общаемся на равных, поддерживаем друг друга, ценим обратную связь и инициативность, легкость общения и юмор. - Возможность влиять на процессы: если увидишь потенциал для улучшения, сможешь воплотить свои идеи, повысить эффективность и качество продукта. - Стать частью команды, которая находит драйв в своих задачах и стремится к технологическому лидерству в индустрии. - Доступность руководства компании и открытую внутреннюю политику. **Обучение и развитие:** - Оценка компетенций и составление индивидуального плана для прокачки твоих скилов. - Ежегодный перфоманс ревью с полезными рекомендациями от команды и возможностью увидеть свои достижения глазами тиммейтов. - Частичная компенсация затрат на обучение. - Изучение английского языка для всех желающих 2 раза в неделю. - Доступ к корпоративной офлайн и онлайн-библиотеке. - Регулярные шаринги знаний, хакатоны, митапы, трансляции, турниры. **Корпоративная жизнь:** - Открыто делимся новостями о развитии компании: регулярно проводим интервью и внутренние бизнес-мероприятия с руководителями и экспертами deeplay. - Работаем из любой точки мира, но всё равно не теряем связь с командой — помогают в этом командообразующие мероприятия: живое общение, новые локации и настоящие эмоции. Делаем ставку на реальные впечатления и командный дух. - Поддерживаем актуальное внутреннее информирование: систематически публикуем дайджесты о стратегии, продуктах и технологиях компании. - Развиваем тематические комьюнити: проводим командные и личные турниры, участвуем в квизах/мозгобойнях, спортивных челленджах. - Оказываем спонсорскую помощь профильным факультетам, выступаем с технической экспертизой на внешних мероприятиях, создаём собственные образовательные проекты. ***P.S.: Хоть мы и постарались вместить в описание больше деталей, но нам все еще есть что рассказать. Будем рады познакомиться ;)***