Data Engineer / Junior–Middle

Что предстоит делать

#вакансия #казахстан #удаленка #workITkz #аналитик Должность: Data Engineer / Junior–Middle Компания: Data Never Lies https://data-never-lies.com/ Город: Казахстан Занятость: удаленка Оплата: 20-30$ в час Data Never Lies — это команда из Великобритании, которая верит в силу фактов, а не догадок. На протяжении многих лет мы помогаем компаниям заглядывать в самые темные уголки их данных (и да, у данных есть темные уголки — обычно там, где никто не удосуживается навести порядок), чтобы превращать инсайты в действия. Описание вакансии: Мы ищем Junior/Middle Data Engineer с сильным фокусом на Python, SQL и построение data pipelines. Основная обязанность этой роли — подключение к различным источникам данных, извлечение данных через REST API, базы данных, файлы и сторонние платформы, их обработка и загрузка в data warehouse для дальнейшей аналитики и BI-отчетности. Мы ищем человека, который понимает, что data pipeline — это не просто скрипт, а стабильный процесс с логированием, обработкой ошибок, повторными попытками, мониторингом и проверками качества данных. Локация: Казахстан/Удаленно Требуемые навыки и опыт: - Уверенное знание Python и практический опыт его использования в задачах data engineering. - Опыт построения data pipelines для загрузки, обработки и трансформации данных. - Опыт работы с различными источниками данных: REST API, базы данных, CSV/Excel/JSON файлы, облачные хранилища и сторонние платформы. - Практический опыт интеграции с REST API: аутентификация, пагинация, ограничения скорости (rate limits), повторные попытки, обработка тайм-аутов и обработка ошибок. - Понимание того, как строить отказоустойчивые pipelines. - Опыт настройки инкрементальной загрузки данных и обработки частичных загрузок. - Умение работать с JSON и полуструктурированными данными. - Уверенное знание SQL: JOINs, CTE, агрегатные функции и оконные функции. - Опыт загрузки данных в базы данных или data warehouses, такие как PostgreSQL, BigQuery, Snowflake, Redshift, MS SQL или аналогичные системы. - Понимание подходов ETL/ELT. - Опыт работы с логированием, мониторингом и базовой диагностикой pipelines. - Опыт работы с Git. Желательно: - Опыт работы с dbt: модели, источники, тесты, документация, инкрементальные модели. - Опыт работы с Spark / PySpark. - Опыт использования инструментов оркестрации, таких как Airflow, Prefect, Dagster или аналоги. - Опыт внедрения проверок качества данных: свежесть, дубликаты, полнота, согласованность. - Опыт работы с облачными хранилищами: AWS S3, Google Cloud Storage, Azure Blob Storage. - Опыт работы с Docker. - Понимание принципов dimensional modelling: таблицы фактов/измерений, star schema, data marts. - Опыт оптимизации SQL-запросов и pipelines. Дополнительные плюсы: - Опыт работы с BI-инструментами, такими как Power BI, Tableau, Looker, QuickSight, Domo или аналоги. - Опыт подготовки наборов данных для BI-отчетности и аналитических data marts. - Базовое понимание облачных платформ, таких как GCP, AWS или Azure. - Опыт работы с CI/CD для проектов с данными. - Умение четко документировать логику pipeline, источники данных и трансформации. Преимущества: - Разнообразие проектов: поверьте, вам не будет скучно. - Адекватный график: мы ориентируемся на задачи, а не на часы — но появляться в полдень каждый день тоже не приветствуется. - Команда, которая ценит экспертизу и юмор: да, мы иногда шутим про SQL — не переживайте, если вы не сразу засмеетесь. - Выбирайте свое приключение: погрузитесь глубоко в один крупномасштабный проект или выберите режим "исследования", работая с несколькими глобальными клиентами в разных доменах. Вы можете поработать с передовыми стеками данных для чего угодно — от игр и знакомств до строительства небоскребов и ядерной энергетики. Если вы жаждете разнообразия, вы найдете его здесь. Контакты: Telegram [email protected] Whatsapp