Optiveum je kadrovsko in svetovalno podjetje, osredotočeno na storitve na področju človeških virov in IT, z več kot 20-letnimi izkušnjami na teh področjih. Podjetje povezuje strokovnjake s projektnimi in stalnimi priložnostmi za delo na daljavo ali na lokaciji ter sodeluje s strankami na Poljskem in mednarodnih trgih. Njegove dejavnosti zaposlovanja zajemajo IT, finance, računovodstvo, proizvodnjo, logistiko in trženje ter podpirajo organizacije pri iskanju talentov in kandidate, ki iščejo svojo naslednjo poklicno priložnost.
Višji podatkovni inženir za Databricks – pogodbeno delo na daljavo na Poljskem
Ustvarjajte razširljive podatkovne cevovode in rešitve za obdelavo podatkov v Databricksu s Pythonom za tehnološke naročnike podjetja Optiveum. Delajte z okolji AWS, Azure in Google Cloud Platform na kompleksnih naborih podatkov in oblačnih arhitekturah.
Opis
- Ustvarjati rešitve Databricks za obdelavo velikih in raznolikih naborov podatkov
- Razvijati in izboljševati podatkovne cevovode v Pythonu z uporabo cloud-native tehnologij
- Sodelovati z arhitekti rešitev pri vzpostavljanju in vzdrževanju standardov podatkovnega inženirstva
- Vzdrževati celovitost, varnost in razširljivost podatkov v oblačnih okoljih
- Načrtovati razširljive arhitekture za kompleksne podatkovne obremenitve v okoljih AWS, Azure in Google Cloud Platform
- Uporabljati sodobna podatkovna ogrodja, programerske prakse in načela DevOps
Zahteve
- Dokazane komercialne izkušnje s podatkovnim inženirstvom in praktično znanje Databricksa
- Napredno znanje Pythona za avtomatizacijo in pretvorbo podatkov
- Komercialne izkušnje z vsaj eno glavno oblačno platformo: AWS, Azure ali Google Cloud Platform
- Učinkovite pisne in ustne komunikacijske sposobnosti
- Napredno znanje angleščine in poljščine
- Odlično poznavanje SQL, vključno z optimizacijo poizvedb in modeliranjem podatkov
- Delovno znanje praks DevOps, cevovodov CI/CD in orodij Infrastructure as Code, kot sta Terraform ali Bicep
- Izkušnje s tehnologijami za pretakanje v realnem času, vključno s Kafko ali Spark Streamingom
- Poznavanje oblačnih platform za shranjevanje, kot so Data Lake, Snowflake ali Synapse
- Praktične izkušnje s PySparkom za porazdeljeno obdelavo podatkov
- Ustrezni strokovni certifikati, kot je Databricks Certified Data Engineer Associate ali certifikati za oblačne podatke