Swoop разрабатывает маркетинговые решения для фармацевтических и биотехнологических компаний, уделяя особое внимание взаимодействию с потребителями и медицинскими специалистами. Компания объединяет ИИ, данные и омниканальные кампании с учётом требований конфиденциальности, помогая пациентам, специалистам и брендам взаимодействовать через такие каналы, как социальные сети и телевидение. Этот подход позволяет повышать эффективность маркетинга и одновременно поддерживать более ориентированную на пациента коммуникацию в сфере здравоохранения.
Ведущий инженер по данным в Swoop — гибридный формат в Калифорнии
Руководите платформой данных NimbleRx в составе бизнеса Swoop по взаимодействию с пациентами в сфере здравоохранения на основе ИИ. Создавайте соответствующие требованиям нормативов конвейеры, модели хранилищ и системы производительности для пакетной обработки, потоков данных и серверных сервисов.
Описание
- Отвечать за всю платформу данных — от приема и преобразования до хранения, выполнения запросов и предоставления доступа
- Формировать дорожную карту платформы данных по мере расширения требований компании к данным
- Разрабатывать и совершенствовать пакетные и потоковые конвейеры с использованием PySpark, EMR, Kinesis, Lambda и Step Functions
- Загружать данные из Postgres, Salesforce, внешних поставщиков и событий продукта в озеро данных на базе Iceberg
- Создавать таблицы SCD, модели событий и общие стандарты данных для инженерных и аналитических команд
- Работать с командами продукта, разработки, аналитики и операционного управления, превращая потребности в данных в надежные конвейеры
- Создавать документацию и инструменты для самостоятельного использования данных
- Руководить вопросами безопасности данных и соответствия требованиям, включая журналы аудита, контроль доступа и процессы временного доступа
- Повышать производительность запросов к серверным компонентам с помощью маршрутизации на реплики, индексации, кэширования и инструментирования операций ввода-вывода в сервисах на Java и Spring
- Диагностировать и устранять скачки IOPS, сбои конвейеров, изменения схем и задержки данных
- Применять ИИ для создания каркасов конвейеров, разработки схем и расследований, а также создавать внутренние инструменты на базе ИИ
- Обучать инженеров и аналитиков эффективному использованию платформы данных
Требования
- Не менее пяти лет опыта создания и внедрения производственных конвейеров и платформ данных
- Продвинутые навыки Python, PySpark и SQL, включая настройку производительности Spark в больших масштабах
- Готовность и способность разрабатывать сервисы вокруг слоя данных с использованием Java и Spring Boot
- Практический опыт распределенной обработки, включая Spark и EMR, потоковой обработки с Kinesis и объектного хранилища в S3
- Глубокие знания Postgres, включая оптимизацию запросов, индексацию, репликацию, маршрутизацию на реплики и анализ узких мест базы данных
- Опыт работы с Iceberg и Trino или сопоставимыми технологиями
- Знание практик CI/CD и Terraform
- Опыт создания решений на основе ИИ с использованием передовых моделей или агентных инструментов программирования
- Подтвержденная способность сотрудничать с командами продукта, операционной деятельности и другими командами
- Профессиональный опыт, в котором безопасность и соблюдение требований к PII/PHI рассматриваются как ключевые обязанности инженера
Преимущества
- Возможности для профессионального развития и карьерного роста
- Компания была признана одним из лучших мест для работы; это признание не является индивидуальной компенсационной льготой