73 Strings globalna je fintech tvrtka koja razvija tehnologiju proširene inteligencije za analizu, procjenu vrijednosti i praćenje nelikvidne imovine. Njezina platforma objedinjuje izdvajanje podataka, praćenje portfelja i procese procjene vrijednosti kako bi upraviteljima alternativne imovine pomogla složene financijske podatke pretvoriti u pravodobne i upotrebljive uvide. Tvrtka pruža podršku društvima iz područja private equityja, rizičnog kapitala, privatnog kreditiranja i infrastrukture te uz analitiku temeljenu na umjetnoj inteligenciji omogućuje učinkovitije i informiranije procese procjene vrijednosti.
Senior podatkovni inženjer – hibridno u Londonu
Vodit ćete dizajn i rad podatkovnih cjevovoda i skladišta u Azureu za platformu 73 Strings za vrednovanje privatnog kapitala. Bit ćete odgovorni za unos, transformaciju, kvalitetu podataka, CI/CD i isporuku podataka klijentima.
Opis
- Oblikovati arhitekturu platforme kroz unos, obradu i isporuku
- Izgraditi i održavati paketne i streaming cjevovode iz baza podataka, API-ja, tokova događaja i polustrukturiranih podataka
- Implementirati hvatanje promjena podataka i inkrementalno učitavanje uz podršku za redoslijed, brisanja, ponovnu reprodukciju i sporo promjenjive dimenzije
- Izraditi skupove podataka u medallion slojevima i dimenzionalne modele podataka
- Isporučivati podatke u Snowflake, Microsoft SQL Server i Databricks
- Provjeravati ugovore o podacima, usklađivanje i karantenu na razini redaka prije objave
- Upravljati GitHub radnim tijekovima i CI/CD-om, uključujući testiranje, pregled koda, promicanje okruženja i implementaciju infrastrukture kao koda
- Dijagnosticirati i rješavati kvarove produkcijskih podataka
- Pretvarati zahtjeve proizvoda, vrednovanja i klijentskih timova u pouzdane operativne cjevovode
Zahtjevi
- Najmanje 10 godina iskustva u razvoju produkcijskih podatkovnih sustava
- Praktično iskustvo sa Snowflakeom ili Databricksom kao primarnom platformom, uključujući modeliranje podataka, optimizaciju performansi i kontrolu troškova
- Napredno znanje Pythona i SQL-a za razvoj i testiranje cjevovoda
- Iskustvo s hvatanjem promjena podataka i obradom događaja, uključujući redoslijed, ponovnu reprodukciju i evoluciju sheme
- Praktično iskustvo s Azureom, Databricksom, ADLS-om i privatnom mrežnom povezivošću
- Iskustvo u upravljanju podatkovnim radnim opterećenjima putem GitHuba i CI/CD-a, uz GitHub Actions ili usporediv sustav
- Iskustvo s kvalitetom podataka, usklađivanjem, nadzorom i odgovorom na produkcijske incidente
- Iskustvo u izradi sigurnih višeklijentskih podatkovnih platformi s izolacijom klijenata, kontrolama pristupa i zaštitom podataka
- Sposobnost izravnog rada s tehničkim timovima klijenata i suradnje s terenskim inženjerstvom, proizvodom i drugim dionicima
- Poželjno: iskustvo s Databricks Lakeflowom, Auto CDC-om, Declarative Automation Bundles i DQX-om ili Snowflake ekvivalentima kao što su Dynamic Tables, Streams and Tasks, Snowpark, implementacije putem Snowflake CLI-ja i Data Metric Functions
- Poželjno: iskustvo s Debeziumom, Kafka Connectom ili Confluent Kafkom
- Poželjno: iskustvo s Apache Airflowom ili usporedivim orkestratorom radnih tijekova
- Poželjno: iskustvo s Kafkom ili Spark Structured Streamingom, Apache Icebergom ili Delta Sharingom te dbt-om
- Poželjno: iskustvo s podacima privatnih tržišta koji uključuju vrednovanja, fondove, portfeljne tvrtke ili kapitalne aktivnosti
Pogodnosti
- Podržavajuće radno okruženje
- Kultura usmjerena na inovacije i suradnju
- Mogućnost preuzimanja odgovornosti i inicijative
- Kontinuirane prilike za učenje