Data QA Engineer (Middle)

Что предстоит делать

AI-компания в сфере Health-Tech, работающая в скрытом режиме и использующая облачные технологии, ищет отличного специалиста на долгосрочную позицию Mid-level Data QA Engineer. Основное внимание в этой роли уделяется тестированию загрузок данных ETL и обеспечению того, чтобы данные в BigQuery и Spanner были полными, точными и соответствовали бизнес-требованиям. Ежедневно вы будете проверять загрузки данных от источника до целевой системы, проверять логику преобразований, расследовать расхождения в данных и документировать проблемы, чтобы инженеры могли быстро их исправлять. Разработкой и исправлением пайплайнов занимаются data-инженеры; ваша роль — находить проблемы, отслеживать их источник и подтверждать, что исправления работают. Поскольку работа связана с данными в сфере здравоохранения, важной частью работы является изучение медицинской предметной области: клинических кодов, терминологии и бизнес-правил, определяющих, как выглядят корректные данные. Компания активно использует AI-инструменты в работе и ожидает того же от вас — например, для написания SQL-проверок, подготовки тест-кейсов и более быстрого анализа проблем, при этом всегда самостоятельно проверяя результаты. Эта роль хорошо подходит человеку с сильными навыками SQL, опытом тестирования процессов ETL, вниманием к деталям и интересом к изучению сложной бизнес-предметной области. Компенсация и льготы: Оплачиваемый отпуск Компания придерживается политики неограниченного оплачиваемого отпуска (Unlimited PTO) и дополнительно компенсирует новогодние праздники. Злоупотребление этой политикой не приветствуется, однако вполне возможно взять как минимум две недели — с полной оплатой — отпуска или больше. Корпоративное оборудование Компания предоставляет корпоративное оборудование сотрудникам, прошедшим испытательный срок, а также доказавшим свою ценность. Целевой стек ПРИМЕЧАНИЕ: Аналогичный опыт работы с cloud-native технологиями всегда рассматривается как вариант. ПРИМЕЧАНИЕ: Практический опыт работы с каждым инструментом НЕ требуется; самое важное — сильные навыки SQL и тестирования данных. Некоторые элементы нашего стека • SQL (сложные запросы, оконные функции, CTE) • AI-инструменты (Claude, ChatGPT, GitHub Copilot, Cursor) • Инструменты управления тестированием (Zephyr, TestRail, Jira) • Git (GitHub) • BigQuery / Cloud Spanner • Cloud Storage • Airflow • dbt • Slack

• Тестирование загрузки данных ETL
• Тестировать загрузки данных ETL в BigQuery и Spanner из широкого спектра источников.
• Выполнять проверки качества данных в наборах данных, уже хранящихся в BigQuery и Spanner: согласованность, целостность и валидация бизнес-правил.
• Выполнять сверку источника с целевой системой: подсчёт строк, контрольные суммы, сравнение агрегатов, проверки на дубликаты и null-значения.
• Проверять логику преобразования, маппинга и стандартизации на соответствие бизнес-требованиям.
• Проверять инкрементальные и полные загрузки, повторные запуски и поздно поступающие данные.
• Выполнять проверки актуальности и полноты данных.
• Обнаруживать изменения схемы и формата файлов и оценивать их влияние на нижестоящие данные.
• Расследование проблем и отчётность
• Расследовать расхождения в данных и отслеживать их до источника, этапа загрузки или преобразования, где они возникают.
• Сообщать о проблемах с чёткими доказательствами: запросы, образцы записей, ожидаемые и фактические результаты.
• Работать с data-инженерами над анализом первопричин; проверять исправления и подтверждать корректность данных перед закрытием задач.
• Тестирование с помощью AI
• Использовать AI-инструменты для написания SQL-проверок, подготовки тест-кейсов и более быстрого анализа проблем.
• Критически оценивать вывод, сгенерированный AI, и всегда проверять результаты, особенно при работе с PHI.
• Документация и непрерывное улучшение
• Создавать и поддерживать тест-кейсы и тестовую документацию.
• Участвовать в процессах CI/CD, интегрируя тесты данных в пайплайны.
• Отслеживать повторяющиеся проблемы с данными и поднимать их, чтобы они получали постоянное исправление или новую автоматизированную проверку.
• Помогать расширять покрытие тестами по мере добавления новых источников и преобразований.
• Предметная область здравоохранения
• Изучать и применять знания медицинской предметной области (клинические коды, терминология, бизнес-правила) для валидации специфичных для здравоохранения данных.
• Требуемый опыт
• Опыт уровня Mid-level в data QA или тестировании систем с интенсивным использованием данных.
• Твёрдое понимание стратегий валидации данных, профилирования данных и проверок целостности данных.
• Опыт регрессионного, smoke- и исследовательского тестирования.
• Опыт тестирования загрузок данных ETL/ELT и валидации потоков данных через множество источников и приёмников.
• Сильные навыки SQL и твёрдое понимание концепций реляционных баз данных.
• Опыт работы с инструментами управления тестированием (Zephyr, TestRail, Jira) и Git.
• Практический опыт использования AI-инструментов в повседневной работе QA.
• Готовность и способность усвоить большой объём знаний в предметной области здравоохранения.
• Будет плюсом
• Опыт работы с BigQuery и экосистемой GCP.
• Опыт работы с Cloud Spanner или другими распределёнными базами данных.
• Опыт работы с Airflow и dbt.
• Знакомство с системами кодирования и терминологиями здравоохранения: ICD-10, CPT, HCPCS, LOINC, SNOMED CT, RxNorm, NDC.
• Общие навыки
• Сильные аналитические навыки и внимание к деталям.
• Способность превращать бизнес-требования в конкретные проверки данных.
• Чёткая письменная коммуникация: баг-репорты и замечания по качеству данных, на которые инженеры и аналитики могут опираться в работе.
• Опыт работы в Agile-командах.
• Способность работать самостоятельно и развиваться в сторону более сложных задач тестирования и аналитики.
• Готовность изучать новые инструменты и подходы к тестированию данных.
• Cloud-Native и GCP
• Предпочтителен опыт работы с cloud-native технологиями. Кандидаты, уверенно работающие с Google Cloud Platform (GCP), будут в приоритете, хотя опыт работы с другими крупными облачными провайдерами (например, AWS или Azure) также ценен.
• Бизнес-домен
• Опыт в Healthcare, Health-Tech и MedTech является преимуществом. Поскольку система обрабатывает данные пациентов (PHI), требуется осторожное обращение с чувствительными данными — никогда не копировать PHI в тикеты, логи или чат.
• Основы:
• Способность работать в итеративном процессе разработки, улучшая качество данных и покрытие тестами шаг за шагом, а не через подход в стиле Waterfall.
• Опыт сотрудничества с data-инженерами, аналитиками и продакт-менеджерами для превращения расхождений в данных в чёткие отчёты, результаты анализа первопричин и последующую работу.
• Другие преимущества, которые может иметь кандидат, включают опыт работы с данными здравоохранения (страховые требования, право на получение льгот, результаты лабораторных исследований, корректировка рисков, показатели качества), опыт работы с файлами данных плательщиков или CMS, а также базовый скриптинг для автоматизации повторяющихся проверок.
• Команда экспертов, предоставляющая аналитические услуги для клиентов в сфере здравоохранения, ищет Data QA.
• Вы станете частью международной команды высококлассных профессионалов, объединённых стремлением создавать продукты, которые реально улучшают качество медицинских услуг.
• Обязанности:
• Тестирование загрузки данных ETL
• Проводить тестирование загрузки данных ETL в BigQuery и Spanner из широкого спектра источников.
• Выполнять проверки качества данных в наборах данных, уже хранящихся в BigQuery и Spanner: проверку согласованности, целостности и соответствия бизнес-правилам.
• Выполнять сверку данных между источником и целевой системой: подсчет количества строк, контрольные суммы, сравнение агрегатов, проверку на наличие дубликатов и нулевых значений.
• Проверять логику преобразования, сопоставления и стандартизации на соответствие бизнес-требованиям.
• Проверять инкрементные и полные загрузки, повторные запуски и запоздавшие данные.
• Расследование проблем и составление отчетов
• Расследовать несоответствия в данных и выявлять их источник — этап загрузки или преобразования, на котором они возникли.
• Составлять отчеты о проблемах с приведением четких доказательств: запросы, образцы записей, сравнение ожидаемых и фактических результатов.
• Совместно с инженерами по данным проводить анализ первопричин; проверять исправления и убеждаться в правильности данных перед закрытием задач.