73 Strings to globalna firma fintech rozwijająca technologie rozszerzonej inteligencji do analizy, wyceny i monitorowania niepłynnych aktywów. Jej platforma łączy ekstrakcję danych, monitorowanie portfeli i procesy wyceny, pomagając zarządzającym aktywami alternatywnymi przekształcać złożone dane finansowe w aktualne i praktyczne informacje. Firma obsługuje podmioty działające w obszarze private equity, venture capital, private credit i infrastruktury, wspierając sprawniejsze i lepiej uzasadnione procesy wyceny dzięki analizie opartej na sztucznej inteligencji.
Starszy inżynier danych — praca hybrydowa w Londynie
Kieruj projektowaniem i działaniem potoków danych oraz hurtowni Azure dla platformy wyceny kapitału prywatnego 73 Strings. Odpowiadaj za pozyskiwanie i transformację danych, ich jakość, CI/CD oraz dostarczanie danych klientom.
Opis
- Kształtuj architekturę platformy w obszarach pozyskiwania, przetwarzania i dostarczania danych
- Twórz i obsługuj potoki wsadowe oraz strumieniowe z baz danych, interfejsów API, strumieni zdarzeń i danych częściowo ustrukturyzowanych
- Wdrażaj przechwytywanie zmian danych i ładowanie przyrostowe z obsługą kolejności, usuwania, odtwarzania oraz wolno zmieniających się wymiarów
- Twórz zestawy danych warstw medalionowych i wymiarowe modele danych
- Dostarczaj dane do Snowflake, Microsoft SQL Server i Databricks
- Egzekwuj kontrakty danych, uzgadnianie oraz izolowanie danych na poziomie wierszy przed publikacją
- Zarządzaj przepływami pracy GitHub i CI/CD, w tym testowaniem, przeglądami kodu, promocją między środowiskami oraz wdrażaniem infrastruktury jako kodu
- Diagnozuj i rozwiązuj problemy z danymi na produkcji
- Przekładaj wymagania dotyczące produktu, wyceny i zespołów klienta na niezawodne potoki operacyjne
Wymagania
- Co najmniej 10 lat doświadczenia w tworzeniu produkcyjnych systemów danych
- Praktyczna znajomość Snowflake lub Databricks jako głównej platformy, w tym modelowania danych, dostrajania wydajności i kontroli kosztów
- Bardzo dobra znajomość języków Python i SQL w zakresie tworzenia i testowania potoków
- Doświadczenie w przechwytywaniu zmian danych i przetwarzaniu zdarzeń, w tym w obsłudze kolejności, odtwarzania i ewolucji schematów
- Praktyczne doświadczenie z Azure, w tym Databricks, ADLS i łącznością z sieciami prywatnymi
- Doświadczenie w zarządzaniu obciążeniami danych za pomocą GitHub i CI/CD, z użyciem GitHub Actions lub porównywalnego systemu
- Doświadczenie w zapewnianiu jakości danych, uzgadnianiu, monitorowaniu i reagowaniu na incydenty produkcyjne
- Doświadczenie w tworzeniu bezpiecznych, wielodzierżawnych platform danych z izolacją dzierżawców, kontrolą dostępu i ochroną danych
- Umiejętność bezpośredniej pracy z zespołami technicznymi klienta oraz współpracy z zespołami inżynierii terenowej, produktu i innymi interesariuszami
- Mile widziane: doświadczenie z Databricks Lakeflow, Auto CDC, Declarative Automation Bundles i DQX lub z odpowiednikami Snowflake, takimi jak Dynamic Tables, Streams and Tasks, Snowpark, wdrożenia Snowflake CLI i Data Metric Functions
- Mile widziane: doświadczenie z Debezium, Kafka Connect lub Confluent Kafka
- Mile widziane: doświadczenie z Apache Airflow lub porównywalnym orkiestratorem przepływów pracy
- Mile widziane: doświadczenie z Kafka lub Spark Structured Streaming, Apache Iceberg lub Delta Sharing oraz dbt
- Mile widziane: doświadczenie z danymi rynków prywatnych dotyczącymi wycen, funduszy, spółek portfelowych lub przepływów kapitału
Benefity
- Wspierające środowisko pracy
- Kultura skoncentrowana na innowacjach i współpracy
- Możliwość przejmowania odpowiedzialności i wykazywania się inicjatywą
- Stałe możliwości nauki