73 Strings je globálna fintechová spoločnosť, ktorá vyvíja technológiu rozšírenej inteligencie na analýzu, oceňovanie a monitorovanie nelikvidných aktív. Jej platforma spája extrakciu údajov, monitorovanie portfólií a pracovné postupy oceňovania, aby správcom alternatívnych aktív pomohla premeniť komplexné finančné údaje na včasné a využiteľné poznatky. Spoločnosť poskytuje služby firmám v oblasti private equity, venture kapitálu, private kreditu a infraštruktúry a podporuje efektívnejšie a informovanejšie procesy oceňovania prostredníctvom analytiky založenej na umelej inteligencii.
Senior dátový inžinier – hybridne v Londýne
Budete viesť návrh a prevádzku dátových potrubí a dátových skladov v Azure pre platformu 73 Strings na oceňovanie súkromného kapitálu. Prevezmete zodpovednosť za ingestovanie, transformáciu, kvalitu dát, CI/CD a doručovanie dát klientom.
Popis
- Navrhovať architektúru platformy naprieč ingestovaním, spracovaním a doručovaním
- Vytvárať a prevádzkovať dávkové a streamovacie potrubia z databáz, API, prúdov udalostí a pološtruktúrovaných dát
- Implementovať zachytávanie zmien v dátach a inkrementálne načítavanie s podporou poradia, odstraňovania, opakovaného prehrávania a pomaly sa meniacich dimenzií
- Vytvárať dátové súbory medailónových vrstiev a dimenzionálne dátové modely
- Doručovať dáta do Snowflake, Microsoft SQL Servera a Databricks
- Vynucovať dátové kontrakty, rekonciliáciu a karanténu na úrovni riadkov pred publikovaním
- Spravovať pracovné postupy GitHub a CI/CD vrátane testovania, kontroly kódu, povyšovania prostredí a nasadzovania infraštruktúry ako kódu
- Diagnostikovať a riešiť zlyhania produkčných dát
- Premieňať požiadavky na produkt, oceňovanie a tímy klientov na spoľahlivé prevádzkové potrubia
Požiadavky
- Aspoň 10 rokov skúseností s vývojom produkčných dátových systémov
- Praktické odborné skúsenosti so Snowflake alebo Databricks ako hlavnou platformou vrátane modelovania dát, optimalizácie výkonu a kontroly nákladov
- Pokročilé znalosti Pythonu a SQL na vývoj a testovanie potrubí
- Skúsenosti so zachytávaním zmien v dátach a spracovaním udalostí vrátane poradia, opakovaného prehrávania a vývoja schémy
- Praktické skúsenosti s Azure, Databricks, ADLS a privátnym sieťovým pripojením
- Skúsenosti so správou dátových úloh pomocou GitHubu a CI/CD, s využitím GitHub Actions alebo porovnateľného systému
- Skúsenosti s kvalitou dát, rekonciliáciou, monitorovaním a riešením produkčných incidentov
- Skúsenosti s vytváraním bezpečných multitenantných dátových platforiem s izoláciou tenantov, riadením prístupu a ochranou dát
- Schopnosť pracovať priamo s technickými tímami klientov a spolupracovať s terénnym inžinierstvom, produktovými tímami a ďalšími zainteresovanými stranami
- Výhodou sú skúsenosti s Databricks Lakeflow, Auto CDC, Declarative Automation Bundles a DQX alebo s ekvivalentmi v Snowflake, ako sú Dynamic Tables, Streams and Tasks, Snowpark, nasadzovanie pomocou Snowflake CLI a Data Metric Functions
- Výhodou sú skúsenosti s Debezium, Kafka Connect alebo Confluent Kafka
- Výhodou sú skúsenosti s Apache Airflow alebo porovnateľným orchestrátorom pracovných postupov
- Výhodou sú skúsenosti s Kafka alebo Spark Structured Streaming, Apache Iceberg alebo Delta Sharing a dbt
- Výhodou sú skúsenosti s dátami súkromných trhov týkajúcimi sa oceňovania, fondov, portfóliových spoločností alebo kapitálovej aktivity
Benefity
- Podporné pracovné prostredie
- Kultúra zameraná na inovácie a spoluprácu
- Priestor na prevzatie zodpovednosti a vlastnú iniciatívu
- Priebežné príležitosti na vzdelávanie