Swoop opracowuje rozwiązania marketingowe dla firm farmaceutycznych i z sektora nauk przyrodniczych, koncentrując się na angażowaniu konsumentów oraz pracowników ochrony zdrowia. Firma łączy sztuczną inteligencję, dane i wielokanałowe kampanie uwzględniające ochronę prywatności, pomagając pacjentom, specjalistom i markom nawiązywać kontakt za pośrednictwem takich kanałów jak media społecznościowe i telewizja. Podejście to służy zwiększaniu skuteczności marketingu oraz wspieraniu bardziej skoncentrowanej na pacjencie komunikacji w ochronie zdrowia.
Starszy inżynier danych w Swoop — praca hybrydowa w Toronto
Kieruj zgodną z wymogami platformą danych medycznych NimbleRx, tworząc skalowalne potoki, modele hurtowni i narzędzia AI wspierające operacje apteczne oraz angażowanie pacjentów.
Opis
- Odpowiadać za cały cykl życia platformy danych — od pozyskiwania i przekształcania danych po ich przechowywanie, odpytywanie i kontrolę dostępu
- Kształtować plan rozwoju platformy danych wraz z rozszerzaniem wymagań firmy dotyczących danych
- Tworzyć i usprawniać potoki wsadowe oraz strumieniowe z wykorzystaniem PySpark/EMR, Kinesis, Lambda i Step Functions
- Doprowadzać dane z Postgresa, Salesforce, zewnętrznych dostawców i strumieni zdarzeń produktu do jeziora danych opartego na Iceberg
- Definiować tabele SCD, tabele zdarzeń i standardy danych dla zespołów inżynieryjnych oraz analitycznych
- Współpracować z partnerami z zespołów produktowych, inżynieryjnych, analitycznych i operacyjnych, przekładając potrzeby dotyczące danych na niezawodne potoki
- Tworzyć dokumentację i narzędzia umożliwiające innym zespołom samodzielną pracę z danymi
- Zarządzać funkcjami bezpieczeństwa i zgodności, w tym dziennikami audytowymi, kontrolą dostępu i procesami dostępu tymczasowego
- Poprawiać wydajność zapytań w usługach backendowych Java/Spring dzięki routowaniu do replik, indeksowaniu, buforowaniu i instrumentacji operacji wejścia-wyjścia
- Badać i usuwać skoki IOPS, awarie potoków, dryf schematów i opóźnienia danych
- Stosować AI do tworzenia szkieletów potoków, opracowywania schematów i doraźnych analiz
- Dostarczać wewnętrzne narzędzia AI do wykorzystania przez inne zespoły
- Wspierać inżynierów i analityków w efektywnym korzystaniu z platformy danych
Wymagania
- Co najmniej pięć lat doświadczenia w tworzeniu produkcyjnych potoków i platform danych
- Zaawansowana znajomość języków Python, PySpark i SQL, w tym strojenia obciążeń Spark na dużą skalę
- Umiejętność i gotowość do pracy przy usługach Java i Spring Boot otaczających warstwę danych
- Praktyczne doświadczenie z obliczeniami rozproszonymi, takimi jak Spark/EMR, przetwarzaniem strumieniowym przez Kinesis i pamięcią obiektową S3
- Bardzo dobra znajomość Postgresa, w tym optymalizacji zapytań, indeksowania, replikacji, routowania do replik i diagnozowania wąskich gardeł bazy danych
- Doświadczenie z Iceberg i Trino lub porównywalnymi technologiami
- Znajomość CI/CD i Terraform
- Doświadczenie w tworzeniu rozwiązań z wykorzystaniem AI, modeli najnowszej generacji lub agentowych narzędzi do programowania
- Udokumentowana umiejętność współpracy z zespołami produktowymi, operacyjnymi i innymi
- Aktualne zezwolenie na pracę w Kanadzie jest zdecydowanie preferowane
- Gotowość do traktowania bezpieczeństwa oraz obsługi PII/PHI jako kluczowych obowiązków inżynierskich
Benefity
- Możliwości rozwoju zawodowego
- Hybrydowy model pracy
- W wyjątkowych przypadkach można rozważyć sponsorowanie wizy dla wysoko wykwalifikowanych kandydatów posiadających specjalistyczne umiejętności