Swoop разрабатывает маркетинговые решения для фармацевтических и биотехнологических компаний, уделяя особое внимание взаимодействию с потребителями и медицинскими специалистами. Компания объединяет ИИ, данные и омниканальные кампании с учётом требований конфиденциальности, помогая пациентам, специалистам и брендам взаимодействовать через такие каналы, как социальные сети и телевидение. Этот подход позволяет повышать эффективность маркетинга и одновременно поддерживать более ориентированную на пациента коммуникацию в сфере здравоохранения.
Старший инженер по данным в Swoop — гибридная работа в Торонто
Руководите соответствующей требованиям медицинской платформой данных NimbleRx, разрабатывая масштабируемые конвейеры, модели хранилищ и инструменты ИИ для аптечных операций и взаимодействия с пациентами.
Канада195 000 $ – 228 000 $ / год
ГибридПолная занятостьСтарший специалистТребуемый Язык: английскийИнженер по даннымОписание
- Отвечать за полный жизненный цикл платформы данных — от приёма и преобразования данных до хранения, выполнения запросов и управления доступом
- Формировать дорожную карту платформы данных по мере расширения требований компании к данным
- Создавать и улучшать пакетные конвейеры и конвейеры потоковой обработки с использованием PySpark/EMR, Kinesis, Lambda и Step Functions
- Загружать данные из Postgres, Salesforce, внешних поставщиков и потоков событий продукта в озеро данных на базе Iceberg
- Определять таблицы SCD, таблицы событий и стандарты данных для инженерных и аналитических команд
- Работать с партнёрами из продуктовой, инженерной, аналитической и операционной команд, превращая потребности в данных в надёжные конвейеры
- Создавать документацию и инструменты, позволяющие другим командам самостоятельно работать с данными
- Управлять возможностями безопасности и соответствия требованиям, включая журналы аудита, контроль доступа и процессы временного доступа
- Повышать производительность запросов к серверной части Java/Spring-сервисов с помощью маршрутизации на реплики, индексации, кэширования и инструментирования операций ввода-вывода
- Исследовать и устранять скачки IOPS, сбои конвейеров, дрейф схем и задержки данных
- Применять ИИ для создания каркаса конвейеров, разработки схем и разовых исследований
- Разрабатывать внутренние инструменты ИИ для использования другими командами
- Наставлять инженеров и аналитиков в эффективном использовании платформы данных
Требования
- Не менее пяти лет опыта создания производственных конвейеров и платформ данных
- Продвинутые навыки Python, PySpark и SQL, включая оптимизацию рабочих нагрузок Spark в больших масштабах
- Способность и готовность участвовать в разработке сервисов на Java и Spring Boot, связанных со слоем данных
- Практический опыт работы с распределёнными вычислениями, такими как Spark/EMR, потоковой обработкой через Kinesis и объектным хранилищем S3
- Глубокие знания Postgres, включая оптимизацию запросов, индексацию, репликацию, маршрутизацию на реплики и диагностику узких мест базы данных
- Опыт работы с Iceberg и Trino или сопоставимыми технологиями
- Знакомство с CI/CD и Terraform
- Опыт разработки с использованием ИИ, передовых моделей или агентных инструментов программирования
- Подтверждённая способность сотрудничать с продуктовыми, операционными и другими командами
- Настоятельно предпочтительно действующее разрешение на работу в Канаде
- Готовность считать безопасность и работу с PII/PHI основными обязанностями инженера
Преимущества
- Возможности для профессионального развития
- Гибридный формат работы
- В исключительных случаях может рассматриваться спонсорство визы для высококвалифицированных кандидатов со специализированными навыками