Pattern Bioscience — биотехнологическая и медицинская компания, разрабатывающая быстрые методы диагностики инфекций, вызванных бактериями, устойчивыми к лекарственным препаратам, без необходимости культивирования микроорганизмов. Технология компании объединяет анализ микроорганизмов на уровне отдельных клеток с машинным обучением, чтобы получать клинически значимые результаты в течение нескольких часов и помогать медицинским специалистам быстрее подбирать подходящее лечение. Работа компании направлена на борьбу с устойчивостью к противомикробным препаратам: она способствует принятию более быстрых и обоснованных решений, которые могут улучшить исходы лечения пациентов и сократить предотвратимые расходы на здравоохранение.
Старший инженер по данным, данные и аналитика — гибридный формат, Пуна
Руководите системами данных Pattern Bioscience для оптимизации рекламы, включая хранилище признаков и рабочие процессы вывода моделей машинного обучения. Поддерживайте надежные обновления ставок и бюджетов с контролем качества для API маркетплейсов.
Описание
- Создавать, разворачивать и поддерживать масштабируемые автоматизированные пакетные конвейеры, загружающие данные из различных источников в lakehouse
- Управлять оркестрацией Airflow и совершенствовать ее для ежедневных рабочих процессов и рабочих процессов с интервалом 15 минут в нескольких DAG, включая зависимости, повторы, backfill, полные обновления и безопасные повторные запуски
- Разрабатывать и оптимизировать аналитические SQL-запросы с использованием широких объединений, оконных функций, инкрементальных слияний, настройки размера хранилища и профилирования запросов
- Добавлять признаки и метки в хранилище признаков, соблюдая установленные стандарты предотвращения утечек и полноты данных
- Координировать обучение моделей и пакетный вывод в SageMaker через Airflow, включая наборы данных, передачу данных в S3 и Parquet, образы для обучения, настройку размера инстансов, прогнозы и метрики
- Создавать подходы к аудиту данных и обеспечивать блокирующие проверки качества перед внешней записью данных
- Диагностировать и устранять проблемы обработки данных большого масштаба, расследовать сбои и участвовать в дежурной сортировке инцидентов
- Обеспечивать идемпотентность, обнаружение новых данных, проверку действий, инвалидацию и аудит изменений маркетплейса
- Взаимодействовать с учеными по данным, специалистами по рекламной стратегии и командами платформенной инженерии
- Преобразовывать цели ROAS, темп расходования бюджета, правила плейбуков и рекламную стратегию в надежные модели данных и конвейеры
- Отвечать за качество данных в закрепленных доменах и координировать устранение проблем с командами инфраструктуры данных
- Наставлять инженеров по данным, предоставлять технические рекомендации и проверять изменения SQL и DAG
Требования
- Степень бакалавра в области науки о данных, аналитики данных, управления информацией, информатики, информационных технологий, смежной дисциплины или эквивалентный профессиональный опыт
- Не менее четырех лет общего профессионального опыта
- Не менее четырех лет практического опыта разработки на SQL и Python, включая продвинутый SQL
- Не менее трех лет опыта создания производственных конвейеров данных на современных архитектурах данных
- Не менее двух лет опыта работы с облачными хранилищами данных, такими как Snowflake, Amazon Redshift или BigQuery
- Профессиональный опыт работы с оркестратором рабочих процессов; Airflow настоятельно желателен
- Опыт планирования обучения моделей машинного обучения и пакетного вывода через SageMaker или сопоставимую платформу
- Практическое понимание концепций прикладного машинного обучения, включая формирование наборов данных, утечки, метрики оценки и операции жизненного цикла моделей
- Практический опыт работы с AWS, включая как минимум S3 и IAM, а также знакомство с колоночными форматами файлов
- Подтвержденный опыт обеспечения качества данных с помощью тестирования, мониторинга, оповещений и анализа первопричин
- Сильные практики разработки ПО и написания скриптов, включая контроль версий, проверку кода и модульную разработку
- Отличные навыки коммуникации и межфункционального взаимодействия
- Способность руководить командами инженеров по данным и наставлять их
- Желателен опыт работы в цифровой рекламе, продвинутые навыки Snowflake, работы с временными рядами и большими данными, фреймворками качества данных, распределенными платформами данных, дополнительными сервисами AWS, управлением данными и ИИ-агентами для написания кода
Преимущества
- Льготы включают оплачиваемый отпуск, страхование и конкурентоспособную компенсацию
- Оплачиваемый отпуск
- Страхование