Middle Data Engineer

Что предстоит делать

<p>Привет! AgileEngine — компания из списка Inc. 5000, которая создает отмеченное наградами программное обеспечение для брендов из списка Fortune 500 и стартапов-первопроходцев в более чем 17 отраслях. Мы входим в число лидеров в таких областях, как разработка приложений и ИИ/МО, а наша культура, ориентированная на людей, принесла нам множество наград «Лучшее место для работы».</p> <p><strong>Почему стоит присоединиться к нам</strong><br>Если вы ищете место, где можно расти, оказывать влияние и работать с людьми, которым не все равно, мы будем рады познакомиться с вами! :)</p> <p><strong>О роли</strong><br>Мы ищем <strong>Middle Data Engineer</strong>, который поможет модернизировать 15-летнее хранилище данных в управляемое Databricks Lakehouse. Вы будете создавать пакетные и потоковые конвейеры с помощью PySpark и Delta Lake, следуя медальонной архитектуре на уровнях bronze, silver и gold. Эта роль также предполагает использование ИИ-инструментов, таких как Claude и GitHub Copilot, для ускорения разработки.</p> <p><strong>Чем вы будете заниматься</strong><br>● Проектировать, создавать и эксплуатировать пакетные и потоковые конвейеры данных на Databricks с использованием PySpark, Delta Lake и Databricks Workflows.<br>● Моделировать и поддерживать медальонную (bronze/silver/gold) архитектуру, обслуживающую потребителей аналитики, отчетности и машинного обучения.<br>● Мигрировать устаревшие ETL и рабочие нагрузки хранилищ данных в Lakehouse с подтвержденным паритетом данных и минимальными сбоями в бизнесе.<br>● Использовать Claude или Github Copilot как ускоритель разработки: генерировать каркас кода, писать и проверять тесты, создавать документацию и прототипировать решения.<br>● Писать чистый, хорошо протестированный код на Python и SQL; поддерживать высокие стандарты посредством проверки кода и документации.<br>● Оптимизировать Spark-задачи и Delta-таблицы для производительности и стоимости, включая партиционирование, кластеризацию, кэширование и выбор размера кластера.<br>● Внедрять контроль качества данных, происхождения и управления с помощью Unity Catalog и автоматизированных проверок валидации.<br>● Отлаживать, устранять неполадки и решать проблемы сбоев конвейеров, дефектов данных и инцидентов в продакшене.<br>● Сотрудничать с инженерами DevOps, платформенными и аналитическими инженерами по вопросам наблюдаемости, безопасности и лучших практик соответствия требованиям.</p> <p><strong>Обязательные требования</strong><br>● <strong>3+ года профессионального опыта</strong> в области инженерии данных с непосредственным опытом работы с <strong>Apache Spark</strong> и облачными архитектурами данных.<br>● Сильный практический опыт создания конвейеров данных с использованием <strong>Databricks, Apache Spark (PySpark) и Delta Lake</strong>.<br>● Продвинутые навыки <strong>SQL и Python</strong>, а также сильные навыки моделирования данных в размерных и Lakehouse-паттернах.<br>● Опыт потоковой загрузки с использованием <strong>Structured Streaming, Auto Loader, Kafka или Event Hubs</strong>.<br>● Опыт оркестрации рабочих процессов (<strong>Databricks Workflows, Airflow или Azure Data Factory</strong>).<br>● Опыт миграции устаревших платформ, модернизации ETL или управления гигиеной данных при переносе старых систем.<br>● Отличные навыки решения проблем, сотрудничества и коммуникации.<br>● Знакомство с <strong>Unity Catalog</strong>, управлением данными, контролем доступа и обработкой PII.<br>● Опыт работы с <strong>dbt</strong> или эквивалентным фреймворком трансформации.<br>● Знакомство со стандартами безопасного кодирования и отраслевыми лучшими практиками безопасности.<br>● Опыт поставки продакшен-платформ данных в масштабе.<br>● <strong>Уровень английского — Upper-intermediate.</strong></p> <p><strong>Желательно</strong><br>● Опыт работы с Infrastructure as Code (IaC) с использованием <strong>Terraform</strong> и CI/CD с использованием <strong>Azure DevOps</strong>.<br>● Опыт работы с реляционными базами данных (в частности, <strong>PostgreSQL</strong>) и концепциями хранения данных.<br>● Знакомство с инструментами логирования и мониторинга (например, Dynatrace, CloudWatch, системные таблицы Databricks).<br>● Предпочтителен опыт работы в Agile или командных средах разработки.</p> <p><br><br><strong>Преимущества и льготы</strong><br><span style="color: #EC9301;">● </span>Профессиональный рост: ускорьте свой профессиональный путь с помощью менторства, TechTalks и персонализированных карт роста<br><span style="color: #EC9301;">● </span>Конкурентная компенсация: мы соответствуем вашим постоянно растущим навыкам, таланту и вкладу конкурентоспособной компенсацией в долларах США и бюджетами на образование, фитнес и командные мероприятия<br><span style="color: #EC9301;">● </span>Выбор интересных проектов: присоединяйтесь к проектам с разработкой современных решений и клиентами высшего уровня, включая предприятия из списка Fortune 500 и ведущие продуктовые бренды<br><span style="color: #EC9301;">● </span>Гибкий график: настройте свой график для оптимального баланса между работой и личной жизнью, имея возможность работать из дома и приходить в офис — что делает вас счастливее и продуктивнее.<br><br><br><strong>Познакомьтесь с нашим процессом найма</strong><br><strong>Асинхронный этап</strong> — автоматизированный трек в вашем темпе, который помогает нам двигаться быстрее и давать вам более быструю обратную связь:<br>● Короткая онлайн-форма для подтверждения основных требований <br>● Оценка навыков на <nobr>30–60</nobr> минут <br>● Вступительное видео на <nobr>5 минут</nobr> <br><strong>Синхронный этап</strong> — живые интервью<br>● Техническое интервью с нашей инженерной командой (назначается в удобное для вас время) <br>● Финальное интервью с вашими будущими коллегами <br><strong>Если все совпало — вы получите оффер!</strong></p> <div> <a href="https://jobs.dou.ua/companies/agileengine/vacancies/371473/#reply-btn-id">Відгукнутись на вакансію</a> </div>