Vultr er et globalt selskap innen skyinfrastruktur som leverer databehandlings-, lagrings-, nettverks- og databasetjenester på forespørsel til utviklere og virksomheter. Plattformen omfatter virtuelle maskiner, bare metal-servere, GPU-akselerert infrastruktur, administrerte databaser, objekt- og blokklagring, Kubernetes samt applikasjoner fra markedsplassen som kan distribueres. Med støtte for AMD- og NVIDIA-GPU-er, raske nettverk og infrastruktur i mer enn 32 datasenterregioner betjener Vultr arbeidsbelastninger innen programvare, kunstig intelligens og høyytelsesdatabehandling gjennom utviklerfokuserte API-er og skalerbare skyverktøy.
Senior dataingeniør, BigQuery
Bygg pålitelige BigQuery-pipelines og styrte datasett for Vultrs globale skyinfrastrukturplattform. Samarbeid med engineering-, business intelligence- og datavitenskapsteam for å støtte virksomhetsanalyse.
Beskrivelse
- Bygg og vedlikehold operative datapipelines til BigQuery med inkrementelle innlastinger og change data capture ved behov.
- Opprett bronze-, silver- og gold-datasett, inkludert felles forretningsenheter og rapporteringsmåltall.
- Automatiser datavalidering og avstemming mellom kildesystemer og måldatasett.
- Formidle oppdateringer, slettinger og historiske kildekorrigeringer til nedstrømsdatasett.
- Overvåk pipelinehelsen, håndter unntak og skjem endringer, og dokumenter gjenopprettingsprosedyrer og datalinje.
- Samarbeid med business intelligence- og datavitenskapsteam for å levere dokumenterte datasett med høy ytelse.
- Koordiner med engineering og eiere av forretningssystemer for å rette opp mangler i kildedata og definere pålitelige dataoverleveringer.
- Fastsett og innfør tekniske standarder for testing, utrulling, sikkerhet og kostnadsstyring innenfor den avtalte virksomhetsarkitekturen.
- Gå gjennom eksisterende pipelines og etabler repeterbare tekniske arbeidsmåter.
- Lever produksjonsdatasett for prioriterte rapporteringsbehov.
- Innfør innledende datakvalitetskontroller og overvåking.
- Kontroller at historiske kildekorrigeringer vises riktig i nedstrømsrapportering.
Krav
- Minst fem års erfaring med data engineering, inkludert ansvar for produksjonspipelines.
- Avanserte SQL-ferdigheter og gode Python-kunnskaper.
- Produksjonserfaring med BigQuery, inkludert partisjonering, clustering, spørringsytelse og kostnadskontroll.
- Erfaring med datatransformasjons- og orkestreringsverktøy som dbt, Airflow, Cloud Composer, Dagster eller tilsvarende.
- Erfaring med å hente ut data fra operative databaser og håndtere inkrementelle innlastinger, oppdateringer, slettinger, backfills og historiske korrigeringer.
- God forståelse av dimensjonal modellering og sporing av historiske data.
- Erfaring med automatiserte datakvalitetssjekker, avstemming, overvåking, varsling og gjenoppretting.
- Erfaring med Git, kodegjennomgang, automatisert testing og CI/CD.
- Evne til å jobbe på tvers av engineering-, analyse- og forretningsteam.
- Erfaring med MySQL, ClickHouse, Kafka eller Google Pub/Sub.
- Kjennskap til Parquet, lagringseffektivitet og Spark eller PySpark.
- Evne til å spore datadefinisjoner og forretningslogikk gjennom applikasjonskode eller en ORM; kjennskap til PHP er en fordel.
- Erfaring med Salesforce, NetSuite, Power BI eller tilsvarende systemer.
- Kjennskap til IAM, tjenestekontoer, minste privilegium og sikker autentisering av arbeidsbelastninger.
- Erfaring med verktøy for metadata, datalinje eller dataobservabilitet.
- Erfaring med å bruke AI eller automatisering til pipelineoperasjoner, hendelsesgranskning eller styrt datatilgang for LLM-applikasjoner.
- Erfaring fra skyinfrastruktur, telekommunikasjon, datasentre eller et annet kapitalintensivt miljø.
Fordeler
- Selskapet dekker 100 % av de ansattes premier for helse-, tann- og synsforsikring.
- 401(k)-matching på 100 % av innskudd opptil 4 %, med umiddelbar opptjening.
- Årlig refusjon på 2 500 USD til faglig utvikling.
- 11 helligdager, opptjent betalt fri og en ordning for overføring av ubrukt fri.
- Ekstra betalt fri ved tre- og tiårsjubileer.
- Én måneds betalt sabbatsperiode hvert femte år.
- Årlig jubileumsbonus.
- Tilskudd til hjemmekontor på 500 USD det første året og 400 USD hvert påfølgende år.
- Internettgodtgjørelse på opptil 75 USD per måned.
- Godtgjørelse til treningsmedlemskap på opptil 50 USD per måned.
- Selskapet betaler Wellable-abonnement.