Keep IT Simple
Keep IT Simple
Keep IT Simple (KIS) er en IT-tjeneste- og løsningsleverandør med base i Silicon Valley, som betjener organisationer i hele Californien og andre steder. Virksomheden blev grundlagt i 1988 og hjælper kunder med at håndtere komplekse teknologibehov gennem cybersikkerhed, virtualisering, cloudløsninger og rådgivning om netværksinfrastruktur. Arbejdet omfatter blandt andet logistik, sundhedssektoren og cybersikkerhed med fokus på praktisk IT-vejledning, omkostningsbevidste løsninger og hurtig kundeservice.

Senior dataingeniør inden for Databricks og AI-dataplatforme

Led designen af Databricks-dataplatforme for en global virksomhed inden for forsikring og kapitalforvaltning. Muliggør cloudanalyse, AI og maskinlæring, governance og modernisering af virksomheden.

Beskrivelse

  • Designe og vedligeholde skalerbare datapipelines med Databricks, Spark og cloudteknologier.
  • Opbygge og optimere rammer for batchbaseret dataindlæsning og dataindlæsning i realtid.
  • Skabe genanvendelige tekniske mønstre og acceleratorer til dataløsninger på virksomhedsniveau.
  • Implementere datakvalitet, observerbarhed, dataafstamning og governance på tværs af dataøkosystemet.
  • Understøtte omfattende datamodernisering og cloudmigrering.
  • Designe Delta Lake-arkitekturer og Medallion-datamodeller.
  • Udvikle optimerede ETL- og ELT-pipelines med Databricks-notebooks, workflows og Delta Live Tables.
  • Fastlægge praksis for performancejustering, omkostningsoptimering og styring af arbejdsbelastninger.
  • Bruge Unity Catalog til at administrere datagovernance, sikkerhed og metadata.
  • Implementere CI/CD-pipelines og infrastruktur som kode til Databricks-implementeringer.
  • Designe cloudbaserede dataarkitekturer til Azure og AWS.
  • Integrere virksomhedens datakilder, herunder SQL Server, Oracle, API'er, SaaS og streamingplatforme.
  • Bygge robuste og sikre datatjenester, der opfylder krav til høj tilgængelighed og katastrofeberedskab.
  • Samarbejde med infrastruktur- og sikkerhedsteams om at anvende cloudbaserede sikkerhedskontroller og compliance-standarder.
  • Bygge og optimere dataprodukter til AI, maskinlæring og generativ AI.
  • Udvikle pipelines til feature engineering og klargjorte datasæt til modeltræning og inferens.
  • Understøtte vektordatabaser, semantisk søgning, retrieval-augmented generation og LLM-applikationer.
  • Samarbejde med data scientists og AI-ingeniører om at sætte maskinlæringsløsninger i drift.
  • Anvende MLOps- og DataOps-praksis til skalerbar levering af AI-løsninger.
  • Lede komplekse data engineering-initiativer.
  • Fastlægge arkitekturstandarder, tekniske praksisser og retningslinjer for udvikling.
  • Vejlede junioringeniører og ingeniører på mellemniveau.
  • Gennemgå arkitekturer og give tekniske anbefalinger.
  • Fremme automatisering, observerbarhed og praksis inden for platform engineering.

Krav

  • Bachelorgrad i datalogi, informationsteknologi, ingeniørvidenskab eller et beslægtet fagområde.
  • Mindst 8 års erfaring med data engineering, datalagring eller udvikling af dataplatforme.
  • Mindst 5 års praktisk erfaring med Databricks og Apache Spark.
  • Erfaring med design og implementering af cloudbaserede dataplatforme på virksomhedsniveau.
  • Erfaring med at lede tekniske initiativer og vejlede ingeniørteams.
  • Erfaring med Databricks, Apache Spark (PySpark og Spark SQL), Delta Lake, Delta Live Tables, Unity Catalog, datalagring og datamodellering.
  • Erfaring med Python, SQL og PowerShell eller automatisering med scripts.
  • Erfaring med Microsoft Azure, AWS og cloudbaserede lagrings- og beregningstjenester.
  • Erfaring med SQL Server, Oracle, PostgreSQL og databaser.
  • Erfaring med Azure Data Factory, Databricks Workflows, Kafka eller eventstreaming samt REST API'er.
  • Erfaring med GitHub, Azure DevOps, CI/CD-pipelines, Terraform og infrastruktur som kode.
  • Kendskab til værktøjer til overvågning og alarmering, rammer for datakvalitet, performanceoptimering, logning og fejlfinding.
  • Kendskab til datapipelines til maskinlæring, feature stores, MLOps, generativ AI, vektordatabaser, retrieval-augmented generation, AI-governance og principper for ansvarlig AI.
  • Foretrukne certificeringer: Databricks Certified Data Engineer Professional, Azure Data Engineer Associate eller AWS Data Analytics.
  • Foretrukken erfaring fra regulerede brancher, programmer for governance af virksomhedsdata og AI-integrationer i produktion.
  • Strategisk tænkning, problemløsning, teknisk lederskab, arkitekturdesign, interessenthåndtering, kommunikations- og præsentationsevner, løbende forbedringer, innovation og AI-anvendelse samt risikobevidsthed og forståelse for compliance.

Fordele

  • Kontraktform: selvstændig kontrahent (Pessoa Jurídica, PJ).
  • Hybrid arbejdsform med mulighed for at arbejde på distancen en del af tiden.

Relaterede job

Terumo Medical Corporation

Territoriechef, interventionelle systemer — Philadelphia

Terumo Medical Corporation

Lede salget af Terumo Interventional Systems-produkter til hospitaler og ambulante behandlingssteder i Philadelphiaområdet. Udvikle kundekonti, støtte indgreb, undervise klinikere og nå distriktets salgsmål.

Åbn
Aleph Alpha

Senior AI-forsker, prætræning af grundmodeller — Aleph Alpha, Heidelberg

Aleph Alpha
51 – 200 Medarbejdere
B2BKunstig intelligens

Led arkitekturarbejde og prætræning i stor skala for Aleph Alphas europæiske grundmodeller, og sæt retningen for træningsmetoder på tværs af tusindvis af GPU'er. Byg og forfin PyTorch-træningsopskrifter sammen med det hybride team i Heidelberg.

Åbn