Vultr to globalna firma zajmująca się infrastrukturą chmurową, która zapewnia deweloperom i przedsiębiorstwom dostęp na żądanie do zasobów obliczeniowych, pamięci masowej, sieci i baz danych. Platforma obejmuje maszyny wirtualne, serwery bare metal, infrastrukturę akcelerowaną przez GPU, zarządzane bazy danych, pamięć obiektową i blokową, Kubernetes oraz aplikacje z Marketplace gotowe do wdrożenia. Dzięki obsłudze procesorów graficznych AMD i NVIDIA, szybkim sieciom oraz infrastrukturze w ponad 32 regionach centrów danych Vultr obsługuje obciążenia związane z oprogramowaniem, sztuczną inteligencją i obliczeniami wysokiej wydajności za pośrednictwem interfejsów API dla deweloperów i skalowalnych narzędzi chmurowych.
Starszy inżynier danych, BigQuery
Twórz niezawodne potoki BigQuery i zarządzane zbiory danych dla globalnej platformy infrastruktury chmurowej Vultr. Współpracuj z zespołami inżynierii, analityki biznesowej i data science, wspierając analitykę korporacyjną.
Stany Zjednoczone155 000 $ – 180 000 $ / rok
ZdalniePełny etatSeniorWymagany Język: angielskiInżynier danychOpis
- Twórz i utrzymuj operacyjne potoki danych w BigQuery, w razie potrzeby korzystając z ładowania przyrostowego i przechwytywania zmian danych.
- Twórz zbiory danych na poziomach bronze, silver i gold, w tym współdzielone encje biznesowe i metryki raportowe.
- Automatyzuj walidację i uzgadnianie danych między systemami źródłowymi a docelowymi zbiorami danych.
- Przekazuj aktualizacje, usunięcia i historyczne korekty danych źródłowych do dalszych zbiorów danych.
- Monitoruj stan potoków, obsługuj wyjątki i zmiany schematów oraz dokumentuj procedury odzyskiwania i pochodzenie danych.
- Współpracuj z zespołami analityki biznesowej i data science, dostarczając udokumentowane, wydajne zbiory danych.
- Koordynuj działania z zespołami inżynieryjnymi i właścicielami systemów biznesowych, aby uzupełniać braki w danych źródłowych i określać niezawodne sposoby ich przekazywania.
- Ustalaj i wdrażaj standardy inżynieryjne dotyczące testowania, wdrażania, bezpieczeństwa i zarządzania kosztami w ramach uzgodnionej architektury korporacyjnej.
- Przeglądaj istniejące potoki i ustanawiaj powtarzalne praktyki inżynieryjne.
- Dostarczaj produkcyjne zbiory danych na potrzeby priorytetowych raportów.
- Wprowadzaj początkowe mechanizmy kontroli jakości danych i monitorowania.
- Weryfikuj, czy historyczne korekty danych źródłowych są prawidłowo widoczne w raportach korzystających z tych danych.
Wymagania
- Co najmniej pięć lat doświadczenia w inżynierii danych, w tym odpowiedzialność za potoki produkcyjne.
- Zaawansowana znajomość SQL i biegła znajomość Pythona.
- Doświadczenie produkcyjne z BigQuery, w tym partycjonowanie, klastrowanie, optymalizacja wydajności zapytań i kontrola kosztów.
- Doświadczenie z narzędziami do transformacji i orkiestracji danych, takimi jak dbt, Airflow, Cloud Composer, Dagster lub ich odpowiednikami.
- Doświadczenie w pozyskiwaniu danych z operacyjnych baz danych i zarządzaniu ładowaniem przyrostowym, aktualizacjami, usunięciami, ponownym ładowaniem danych oraz korektami historycznymi.
- Dobra znajomość modelowania wymiarowego i śledzenia danych historycznych.
- Doświadczenie w automatycznych kontrolach jakości danych, uzgadnianiu, monitorowaniu, alertowaniu i odzyskiwaniu danych.
- Doświadczenie z Git, przeglądami kodu, automatycznym testowaniem i CI/CD.
- Umiejętność współpracy z zespołami inżynieryjnymi, analitycznymi i biznesowymi.
- Doświadczenie z MySQL, ClickHouse, Kafka lub Google Pub/Sub.
- Znajomość Parquet, efektywnego wykorzystania pamięci masowej oraz Spark lub PySpark.
- Umiejętność śledzenia definicji danych i logiki biznesowej w kodzie aplikacji lub ORM; znajomość PHP będzie dodatkowym atutem.
- Doświadczenie z Salesforce, NetSuite, Power BI lub porównywalnymi systemami.
- Znajomość IAM, kont usług, zasady minimalnych uprawnień i bezpiecznego uwierzytelniania obciążeń.
- Doświadczenie z narzędziami do zarządzania metadanymi, pochodzeniem danych lub obserwowalnością danych.
- Doświadczenie w stosowaniu AI lub automatyzacji do obsługi potoków, badania incydentów lub zarządzanego dostępu do danych dla aplikacji LLM.
- Doświadczenie w infrastrukturze chmurowej, telekomunikacji, centrach danych lub innej branży opartej na dużej liczbie zasobów.
Benefity
- Firma pokrywa 100% składek pracownika na ubezpieczenie medyczne, stomatologiczne i okulistyczne.
- Firma dopłaca 100% do składek w planie 401(k), maksymalnie do 4% wpłat; nabyte uprawnienia obowiązują od razu.
- Roczny zwrot kosztów rozwoju zawodowego w wysokości 2500 USD.
- 11 dni świątecznych, płatny urlop naliczany stopniowo oraz możliwość przenoszenia niewykorzystanych dni.
- Dodatkowy płatny urlop z okazji trzeciej i dziesiątej rocznicy pracy.
- Miesiąc płatnego urlopu sabatycznego co pięć lat.
- Coroczna premia rocznicowa.
- Dodatek na urządzenie zdalnego miejsca pracy: 500 USD w pierwszym roku i 400 USD w każdym kolejnym roku.
- Zwrot kosztów internetu do 75 USD miesięcznie.
- Zwrot kosztów karnetu na siłownię do 50 USD miesięcznie.
- Opłacana przez firmę subskrypcja Wellable.