Vultr je globalna tvrtka za cloud infrastrukturu koja programerima i poduzećima pruža računalne resurse, pohranu, umrežavanje i baze podataka na zahtjev. Njena platforma uključuje virtualna računala, bare metal poslužitelje, infrastrukturu ubrzanu GPU-ovima, upravljane baze podataka, objektno i blokovno spremište, Kubernetes te aplikacije s marketplacea spremne za implementaciju. Uz podršku za AMD-ove i NVIDIA-ine GPU-ove, brzo umrežavanje i infrastrukturu u više od 32 regije podatkovnih centara, Vultr podržava radna opterećenja iz područja softvera, umjetne inteligencije i visokoučinkovitog računalstva putem API-ja usmjerenih na programere i skalabilnih cloud alata.
Viši inženjer podataka, BigQuery
Izrađujte pouzdane BigQuery podatkovne cjevovode i upravljane skupove podataka za globalnu platformu Vultrove infrastrukture u oblaku. Surađujte s timovima inženjerstva, poslovne inteligencije i podatkovne znanosti kako biste podržali analitiku za poduzeća.
Sjedinjene Američke Države155.000 $ – 180.000 $ / godina
UdaljenoPuno radno vrijemeSeniorObavezan Jezik: engleskiInženjer podatakaOpis
- Izrađujte i održavajte operativne podatkovne cjevovode u BigQueryju, prema potrebi koristeći inkrementalno učitavanje i hvatanje promjena podataka.
- Stvarajte skupove podataka bronze, silver i gold, uključujući zajedničke poslovne entitete i metrike za izvještavanje.
- Automatizirajte provjeru podataka i usklađivanje između izvornih sustava i ciljnih skupova podataka.
- Prenosite ažuriranja, brisanja i povijesne ispravke izvornih podataka u nizvodne skupove podataka.
- Pratite stanje cjevovoda, upravljajte iznimkama i promjenama shema te dokumentirajte postupke oporavka i porijeklo podataka.
- Surađujte s timovima poslovne inteligencije i podatkovne znanosti kako biste osigurali dokumentirane i visokoučinkovite skupove podataka.
- Usklađujte se s inženjerskim timovima i vlasnicima poslovnih sustava radi rješavanja nedostataka izvornih podataka i definiranja pouzdanih predaja podataka.
- Postavljajte i primjenjujte inženjerske standarde za testiranje, implementaciju, sigurnost i upravljanje troškovima unutar dogovorene poslovne arhitekture.
- Pregledavajte postojeće cjevovode i uspostavljajte ponovljive inženjerske prakse.
- Isporučujte produkcijske skupove podataka za prioritetne potrebe izvještavanja.
- Uvodite početne kontrole kvalitete podataka i nadzor.
- Provjeravajte prikazuju li se povijesni ispravci izvornih podataka točno u nizvodnom izvještavanju.
Zahtjevi
- Najmanje pet godina iskustva u podatkovnom inženjerstvu, uključujući odgovornost za produkcijske cjevovode.
- Napredno znanje SQL-a i dobro poznavanje Pythona.
- Iskustvo s BigQueryjem u produkciji, uključujući particioniranje, klasteriranje, performanse upita i kontrolu troškova.
- Iskustvo s alatima za transformaciju i orkestraciju podataka kao što su dbt, Airflow, Cloud Composer, Dagster ili ekvivalenti.
- Iskustvo s izdvajanjem podataka iz operativnih baza podataka i upravljanjem inkrementalnim učitavanjem, ažuriranjima, brisanjima, ponovnim popunjavanjem i povijesnim ispravcima.
- Dobro razumijevanje dimenzionalnog modeliranja i praćenja povijesnih podataka.
- Iskustvo s automatiziranim provjerama kvalitete podataka, usklađivanjem, nadzorom, upozorenjima i oporavkom.
- Iskustvo s Gitom, pregledom koda, automatiziranim testiranjem i CI/CD-om.
- Sposobnost suradnje s timovima inženjerstva, analitike i poslovanja.
- Iskustvo s MySQL-om, ClickHouseom, Kafkom ili Google Pub/Subom.
- Poznavanje Parqueta, učinkovitog pohranjivanja te Sparka ili PySparka.
- Sposobnost praćenja definicija podataka i poslovne logike kroz kod aplikacije ili ORM; poznavanje PHP-a je prednost.
- Iskustvo sa Salesforceom, NetSuiteom, Power BI-jem ili usporedivim sustavima.
- Poznavanje IAM-a, servisnih računa, pristupa s najmanjim potrebnim ovlastima i sigurne autentifikacije radnih opterećenja.
- Iskustvo s alatima za metapodatke, porijeklo podataka ili uočljivost podataka.
- Iskustvo u primjeni umjetne inteligencije ili automatizacije u radu podatkovnih cjevovoda, istraživanju incidenata ili upravljanom pristupu podacima za LLM aplikacije.
- Iskustvo u infrastrukturi oblaka, telekomunikacijama, podatkovnim centrima ili drugom okruženju s mnogo fizičke imovine.
Pogodnosti
- Tvrtka pokriva 100 % premija zaposlenika za zdravstveno, stomatološko i očnog osiguranje.
- Usklađivanje doprinosa u 401(k) u omjeru 100 % do 4 %, uz trenutačno stjecanje prava na sredstva.
- Godišnja naknada za profesionalni razvoj od 2.500 $.
- 11 praznika, plaćeni dopust koji se stječe i mogućnost prijenosa neiskorištenih dana.
- Dodatni plaćeni dopust za treću i desetu godišnjicu rada.
- Jedan mjesec plaćenog sabatikala svakih pet godina.
- Godišnji bonus za godišnjicu rada.
- Naknada za opremanje kućnog ureda od 500 $ prve godine i 400 $ svake sljedeće godine.
- Naknada za internet do 75 $ mjesečno.
- Naknada za članstvo u teretani do 50 $ mjesečno.
- Pretplata na Wellable koju plaća tvrtka.