Data Engineer

Что предстоит делать

<p>M Science — это фирма, занимающаяся исследованиями и аналитикой на основе данных, которая открывает новые инсайты для ведущих финансовых институтов и корпораций. Мы приходим на работу каждый день, чтобы создавать практически применимые инсайты из альтернативных данных. M Science совершает революцию в исследованиях, обнаруживая новые наборы данных и внедряя передовые методологии для предоставления практически применимой аналитики. Наши исследовательские команды обладают десятилетиями опыта работы с огромными объёмами неструктурированных данных в режиме, близком к реальному времени, чтобы выявлять критически важные инсайты, помогающие клиентам принимать более разумные и обоснованные решения. Мы объединяем лучшее из финансов, данных и технологий, создавая по-настоящему уникальное ценностное предложение как для финансовых компаний, так и для крупных корпораций.</p><p>Мы ищем исключительных data-инженеров, которые будут ежедневно работать с петабайтами данных, используя различные технологии, такие как Databricks, SQL, Python, Airflow и другие. Ожидается, что вы будете эффективно взаимодействовать с вышестоящими инженерными командами и нижестоящими потребителями, включая аналитиков и продуктовых инженеров. В этой роли вы будете создавать наборы данных для поддержки аналитики, экспериментов и машинного обучения. В частности, вы будете разрабатывать стандарты для построения пайплайнов в масштабе, включая установление общих операторов, workflow/DAG и оптимизацию существующих продуктов.</p><p><strong>ПРИМЕЧАНИЕ: Эта роль требует гибкого рабочего графика, чтобы обеспечить как минимум 2 часа пересечения с коллегами на Восточном и Западном побережьях США. Ожидаемый рабочий график: <nobr>12:00–20:00 CET.</nobr></strong></p><h3>Обязанности:</h3><ul><li>Управлять пайплайном и улучшать его для очистки, фильтрации и структурирования сырых наборов данных в целях анализа компании и клиентов.</li><li>Внедрять процедуры QA для проактивного выявления аномалий и проблем с данными.</li><li>Внедрять новые продукты и функции, созданные командами аналитиков, используя лучшие практики.</li><li>Работать с другими членами команды и внутренними стейкхолдерами над инфраструктурными проектами, документацией, QA и код-ревью.</li><li>Создавать репозитории и управлять ими.</li><li>Постоянно искать возможности для стандартизации кода и автоматизации production-пайплайнов.</li><li>Создавать фреймворки и вносить вклад в них, повышающие эффективность логирования данных, одновременно работая с инфраструктурой для триажа и устранения проблем.</li><li>Наставлять членов команды, давая и получая практически применимую обратную связь.</li></ul><h3>Требования:</h3><ul><li><nobr>4-7</nobr> лет опыта в роли data-инженера.</li><li>Предпочтение отдаётся тем, кто работал на аналогичной роли в компании по анализу данных или в наших целевых вертикалях, включая потребительский ритейл и бренды, цифровые медиа и технологии.</li><li>Экспертиза в data-инженерии в облачной среде (Python, Databricks, AWS, Airflow, Snowflake, SQL).</li><li>Обязательны SQL и Python.</li><li>Рабочее знание PySpark и распределённых вычислений.</li><li>Сильные навыки работы с людьми и управления для взаимодействия с продакт-менеджерами и аналитиками данных.</li><li>Знакомство с методами разработки программного обеспечения, такими как Scrum и TDD.</li><li>Общие навыки управления проектами.</li><li>Способность чётко излагать планы проектов, технические требования, методологии и выводы как техническим, так и нетехническим стейкхолдерам.</li><li>Степень бакалавра или выше, либо значительный опыт в области статистики, математики, информатики или аналогичной количественной дисциплины.</li><li>Способность процветать в культуре качества и личной ответственности.</li></ul><h3>Что мы предлагаем:</h3><ul><li>20 дней отпуска.</li><li>Государственные праздники.</li><li>Бронирование от мобилизации доступно после успешного прохождения испытательного срока (для украинских коллег).</li><li>Обмен опытом и работа с талантливыми коллегами.</li><li>И последнее, но не менее важное — достойная компенсация за ваши усилия.</li></ul> <div> <a href="https://jobs.dou.ua/companies/globaldevgroup/vacancies/379876/#reply-btn-id">Откликнуться на вакансию</a> </div>