Swoop opracowuje rozwiązania marketingowe dla firm farmaceutycznych i z sektora nauk przyrodniczych, koncentrując się na angażowaniu konsumentów oraz pracowników ochrony zdrowia. Firma łączy sztuczną inteligencję, dane i wielokanałowe kampanie uwzględniające ochronę prywatności, pomagając pacjentom, specjalistom i markom nawiązywać kontakt za pośrednictwem takich kanałów jak media społecznościowe i telewizja. Podejście to służy zwiększaniu skuteczności marketingu oraz wspieraniu bardziej skoncentrowanej na pacjencie komunikacji w ochronie zdrowia.
Starszy inżynier danych w Swoop – praca hybrydowa w Kalifornii
Kieruj platformą danych NimbleRx w ramach opartej na AI działalności Swoop związanej z zaangażowaniem w ochronę zdrowia. Twórz zgodne z wymogami potoki danych, modele hurtowni i systemy wydajności dla przetwarzania wsadowego, strumieniowego oraz usług backendowych.
Stany Zjednoczone
Kalifornia205 000 $ – 240 000 $ / rok
HybrydowoPełny etatSeniorWymagany Język: angielskiInżynier danychOpis
- Odpowiadać za całą platformę danych — od pozyskiwania i transformacji po przechowywanie, wykonywanie zapytań i dostęp
- Kształtować plan rozwoju platformy danych wraz z rozszerzaniem wymagań firmy dotyczących danych
- Tworzyć i udoskonalać potoki wsadowe i strumieniowe z użyciem PySpark, EMR, Kinesis, Lambda i Step Functions
- Dostarczać dane z Postgres, Salesforce, zewnętrznych dostawców i zdarzeń produktu do jeziora danych opartego na Iceberg
- Tworzyć tabele SCD, modele zdarzeń i wspólne standardy danych dla zespołów inżynieryjnych i analitycznych
- Współpracować z zespołami produktu, inżynierii, analityki i operacji, przekładając potrzeby dotyczące danych na niezawodne potoki
- Tworzyć dokumentację i narzędzia wspierające samoobsługowe korzystanie z danych
- Kierować bezpieczeństwem danych i zgodnością, w tym ścieżkami audytu, kontrolą dostępu i procesami dostępu tymczasowego
- Poprawiać wydajność zapytań backendu dzięki kierowaniu ruchu do replik, indeksowaniu, buforowaniu i instrumentacji operacji wejścia-wyjścia w usługach Java i Spring
- Diagnozować i usuwać skoki IOPS, awarie potoków, zmiany schematów i opóźnienia danych
- Stosować AI do tworzenia szkieletów potoków, projektowania schematów i analiz, a także dostarczać wewnętrzne narzędzia AI
- Wspierać inżynierów i analityków w efektywnym korzystaniu z platformy danych
Wymagania
- Co najmniej pięć lat doświadczenia w dostarczaniu produkcyjnych potoków i platform danych
- Zaawansowana znajomość Pythona, PySpark i SQL, w tym strojenia wydajności Spark na dużą skalę
- Umiejętność i gotowość do tworzenia usług wokół warstwy danych z użyciem Java i Spring Boot
- Praktyczne doświadczenie z przetwarzaniem rozproszonym, takim jak Spark i EMR, przetwarzaniem strumieniowym z użyciem Kinesis oraz magazynem obiektowym S3
- Bardzo dobra znajomość Postgres, w tym optymalizacji zapytań, indeksowania, replikacji, kierowania ruchu do replik i analizy wąskich gardeł bazy danych
- Doświadczenie z Iceberg i Trino lub porównywalnymi technologiami
- Praktyczna znajomość praktyk CI/CD i Terraform
- Doświadczenie w tworzeniu rozwiązań opartych na AI z użyciem zaawansowanych modeli lub agentowych narzędzi programistycznych
- Udokumentowana umiejętność współpracy z zespołami produktu, operacji i innymi zespołami
- Doświadczenie zawodowe w traktowaniu bezpieczeństwa oraz zgodności z wymaganiami PII/PHI jako podstawowych obowiązków inżynierskich
Benefity
- Możliwości rozwoju zawodowego i kariery
- Firma otrzymała wyróżnienie jako jedno z najlepszych miejsc pracy; wyróżnienie to nie jest indywidualnym świadczeniem kompensacyjnym