73 Strings je globalno fintech podjetje, ki razvija tehnologijo razširjene inteligence za analizo, vrednotenje in spremljanje nelikvidnih sredstev. Njegova platforma združuje pridobivanje podatkov, spremljanje portfeljev in postopke vrednotenja ter upravljavcem alternativnih naložb pomaga kompleksne finančne podatke pretvoriti v pravočasne in uporabne vpoglede. Podjetje sodeluje s podjetji na področju zasebnega kapitala, tveganega kapitala, zasebnega kreditiranja in infrastrukture ter z analitiko, ki temelji na umetni inteligenci, podpira učinkovitejše in bolj informirane postopke vrednotenja.
Višji podatkovni inženir – hibridno v Londonu
Vodili boste zasnovo in delovanje podatkovnih cevovodov in skladišč v Azure za platformo 73 Strings za vrednotenje zasebnega kapitala. Prevzeli boste odgovornost za zajem, transformacijo, kakovost podatkov, CI/CD in dostavo podatkov strankam.
Opis
- Oblikovati arhitekturo platforme za zajem, obdelavo in dostavo podatkov
- Graditi in upravljati paketne in pretočne cevovode iz podatkovnih baz, API-jev, tokov dogodkov in delno strukturiranih podatkov
- Izvajati zajem sprememb podatkov in inkrementalno nalaganje s podporo za vrstni red, brisanja, ponovno predvajanje in počasi spreminjajoče se dimenzije
- Ustvarjati podatkovne zbirke v medallion plasteh in dimenzijske podatkovne modele
- Dostavljati podatke v Snowflake, Microsoft SQL Server in Databricks
- Uveljavljati podatkovne pogodbe, usklajevanje in karanteno na ravni vrstic pred objavo
- Upravljati delovne tokove GitHub in CI/CD, vključno s testiranjem, pregledom kode, promocijo okolij in uvajanjem infrastrukture kot kode
- Diagnosticirati in odpravljati napake produkcijskih podatkov
- Pretvarjati zahteve izdelka, vrednotenja in ekip strank v zanesljive operativne cevovode
Zahteve
- Najmanj 10 let izkušenj z razvojem produkcijskih podatkovnih sistemov
- Praktično strokovno znanje Snowflake ali Databricks kot primarne platforme, vključno z modeliranjem podatkov, optimizacijo zmogljivosti in nadzorom stroškov
- Dobro znanje Pythona in SQL za razvoj in testiranje cevovodov
- Izkušnje z zajemom sprememb podatkov in obdelavo dogodkov, vključno z vrstnim redom, ponovnim predvajanjem in razvojem sheme
- Praktične izkušnje z Azure, Databricks, ADLS in povezljivostjo z zasebnimi omrežji
- Izkušnje z upravljanjem podatkovnih delovnih obremenitev prek GitHub in CI/CD z uporabo GitHub Actions ali primerljivega sistema
- Izkušnje s kakovostjo podatkov, usklajevanjem, spremljanjem in odzivom na produkcijske incidente
- Izkušnje z ustvarjanjem varnih večnajemniških podatkovnih platform z izolacijo najemnikov, nadzorom dostopa in zaščito podatkov
- Sposobnost neposrednega dela s tehničnimi ekipami strank ter sodelovanja s terenskim inženiringom, produktom in drugimi deležniki
- Zaželeno: izkušnje z Databricks Lakeflow, Auto CDC, Declarative Automation Bundles in DQX ali z ekvivalenti Snowflake, kot so Dynamic Tables, Streams and Tasks, Snowpark, uvajanja prek Snowflake CLI in Data Metric Functions
- Zaželeno: izkušnje z Debezium, Kafka Connect ali Confluent Kafka
- Zaželeno: izkušnje z Apache Airflow ali primerljivim orkestratorjem delovnih tokov
- Zaželeno: izkušnje s Kafka ali Spark Structured Streaming, Apache Iceberg ali Delta Sharing in dbt
- Zaželeno: izkušnje s podatki zasebnih trgov, ki vključujejo vrednotenja, sklade, portfeljska podjetja ali kapitalske dejavnosti
Ugodnosti
- Podporno delovno okolje
- Kultura, osredotočena na inovacije in sodelovanje
- Prostor za prevzemanje odgovornosti in pobude
- Nenehne priložnosti za učenje