A Vultr globális felhőinfrastruktúra-szolgáltató, amely igény szerint biztosít számítási, tárolási, hálózati és adatbázis-szolgáltatásokat fejlesztők és vállalkozások számára. Platformja virtuális gépeket, bare metal szervereket, GPU-gyorsított infrastruktúrát, felügyelt adatbázisokat, objektum- és blokktárolást, Kubernetes-t, valamint telepíthető piactéri alkalmazásokat kínál. Az AMD és NVIDIA GPU-k támogatásával, gyors hálózattal és több mint 32 adatközponti régióban elérhető infrastruktúrával a Vultr fejlesztőközpontú API-kon és skálázható felhőeszközökön keresztül szolgálja ki a szoftveres, mesterséges intelligencia- és nagy teljesítményű számítási munkaterheléseket.
Senior adatmérnök, BigQuery
Megbízható BigQuery-adatfolyamokat és szabályozott adatkészleteket hozhat létre a Vultr globális felhőinfrastruktúra-platformjához. A vállalati analitika támogatásához együttműködik a mérnöki, üzleti intelligencia és adattudományi csapatokkal.
Egyesült Államok155 000 $ – 180 000 $ / év
TávoliTeljes munkaidőSzeniorKötelező Nyelv: angolAdatmérnökLeírás
- Hozzon létre és tartson karban működési adatfolyamokat a BigQuery felé, szükség szerint inkrementális betöltésekkel és változásadat-rögzítéssel.
- Hozzon létre bronz, ezüst és arany adatkészleteket, beleértve a közös üzleti entitásokat és jelentési mutatókat.
- Automatizálja a forrásrendszerek és a cél-adatkészletek közötti adatellenőrzést és egyeztetést.
- Juttassa el a frissítéseket, törléseket és a forrásadatok korábbi javításait a további feldolgozási lépések adatkészleteibe.
- Kövesse nyomon az adatfolyamok állapotát, kezelje a kivételeket és a sémamódosításokat, valamint dokumentálja a helyreállítási eljárásokat és az adatok eredetét.
- Dolgozzon együtt az üzleti intelligencia és adattudományi csapatokkal dokumentált, nagy teljesítményű adatkészletek biztosításán.
- Egyeztessen a mérnöki csapatokkal és az üzleti rendszerek felelőseivel a forrásadatok hiányosságainak kezeléséről és a megbízható adatátadások meghatározásáról.
- Határozzon meg és vezessen be mérnöki szabványokat a teszteléshez, telepítéshez, biztonsághoz és költségkezeléshez az elfogadott vállalati architektúrán belül.
- Vizsgálja felül a meglévő adatfolyamokat, és alakítson ki ismételhető mérnöki gyakorlatokat.
- Szállítson éles környezetben használható adatkészleteket a kiemelt jelentési igényekhez.
- Vezesse be az első adatminőségi ellenőrzéseket és felügyeleti folyamatokat.
- Ellenőrizze, hogy a forrásadatok korábbi javításai helyesen jelennek-e meg a további feldolgozási lépések jelentéseiben.
Követelmények
- Legalább öt év adatfejlesztési tapasztalat, beleértve az éles adatfolyamokért viselt felelősséget.
- Haladó SQL-ismeretek és erős Python-tudás.
- Éles környezetben szerzett BigQuery-tapasztalat, beleértve a particionálást, klaszterezést, lekérdezési teljesítményt és költségszabályozást.
- Tapasztalat adatátalakító és -orkesztrációs eszközökkel, például dbt, Airflow, Cloud Composer, Dagster vagy ezek megfelelőivel.
- Tapasztalat működési adatbázisokból történő adatkinyeréssel, valamint inkrementális betöltések, frissítések, törlések, visszatöltések és korábbi javítások kezelésével.
- A dimenzionális modellezés és a múltbeli adatok nyomon követésének alapos ismerete.
- Tapasztalat automatizált adatminőségi ellenőrzésekkel, egyeztetéssel, felügyelettel, riasztással és helyreállítással.
- Tapasztalat Gittel, kódellenőrzéssel, automatizált teszteléssel és CI/CD-vel.
- Képesség a mérnöki, analitikai és üzleti csapatok közötti együttműködésre.
- Tapasztalat MySQL-lel, ClickHouse-szal, Kafkával vagy Google Pub/Subbal.
- Parquet, tárolási hatékonyság, valamint Spark vagy PySpark ismerete.
- Képesség az adatdefiníciók és az üzleti logika nyomon követésére az alkalmazáskódon vagy ORM-en keresztül; a PHP-ismeret előnyt jelent.
- Tapasztalat Salesforce-szal, NetSuite-tel, Power BI-jal vagy hasonló rendszerekkel.
- IAM, szolgáltatásfiókok, a legkisebb jogosultság elve és a biztonságos munkaterhelés-hitelesítés ismerete.
- Tapasztalat metaadat-, adatleszármazási vagy adatmegfigyelhetőségi eszközökkel.
- Tapasztalat mesterséges intelligencia vagy automatizálás alkalmazásával adatfolyam-műveletekben, incidensek kivizsgálásában vagy LLM-alkalmazások szabályozott adatelérésében.
- Tapasztalat felhőinfrastruktúra, távközlés, adatközpontok vagy más eszközigényes környezet területén.
Juttatások
- A vállalat a munkavállalói egészség-, fogászati és látásbiztosítási díjak 100%-át fizeti.
- 401(k) hozzájárulás-illesztés 100%-os arányban, legfeljebb a befizetések 4%-áig; azonnali jogosultsággal.
- Évi 2500 USD szakmai fejlődési költségtérítés.
- 11 ünnepnap, időarányosan gyűlő fizetett szabadság és átviteli lehetőség.
- További fizetett szabadság a harmadik és a tizedik munkahelyi évfordulón.
- Ötévente egy hónap fizetett alkotói szabadság.
- Éves évfordulós bónusz.
- 500 USD távoli irodai berendezési támogatás az első évben, majd évi 400 USD a következő években.
- Havi legfeljebb 75 USD internetköltség-térítés.
- Havi legfeljebb 50 USD edzőtermi tagsági térítés.
- A Wellable-előfizetést a vállalat fizeti.