Keep IT Simple
Keep IT Simple
Keep IT Simple (KIS) är en IT-tjänste- och lösningsleverantör baserad i Silicon Valley som betjänar organisationer i hela Kalifornien och på andra håll. Företaget grundades 1988 och hjälper kunder att hantera komplexa teknikbehov genom cybersäkerhet, virtualisering, molnlösningar och konsulttjänster inom nätverksinfrastruktur. Arbetet omfattar bland annat logistik, hälso- och sjukvård samt cybersäkerhet, med fokus på praktisk IT-vägledning, kostnadsmedvetna lösningar och snabb kundservice.

Senior dataingenjör för Databricks och AI-plattformar

Bygg data- och molnplattformar med Databricks för ett globalt företag inom försäkring och kapitalförvaltning. Stöd styrd analys, maskininlärning och lösningar för generativ AI.

Beskrivning

  • Bygg och underhåll skalbara datapipelines och dataprodukter med Databricks, Spark, Python och SQL.
  • Skapa och förbättra batch-, strömnings- och realtidsintegrationer mellan interna system och externa datakällor.
  • Implementera Databricks Lakehouse-arkitekturer med Delta Lake och Medallion-mönster.
  • Leverera dataprodukter för analys, prediktiv modellering, maskininlärning och generativ AI.
  • Samarbeta med datavetare och AI-ingenjörer för att förbereda, transformera och styra data för AI- och ML-användningsfall.
  • Skapa pipelines för feature engineering och stöd processer genom maskininlärningens livscykel.
  • Bygg datalösningar för RAG, vektor- och semantisk sökning samt LLM-applikationer.
  • Förbättra Spark-jobb, SQL-arbetsbelastningar och dataramverk för bättre prestanda, skalbarhet och kostnadseffektivitet.
  • Etablera funktioner för datakvalitet, observerbarhet, dataursprung, styrning och övervakning.
  • Uppfylla krav på datasekretess, säkerhet och ansvarsfull AI.
  • Stödja CI/CD, Infrastructure as Code och DataOps på dataplattformen.
  • Vägleda juniora ingenjörer och främja goda tekniska arbetssätt.
  • Samarbeta med datavetare, AI-ingenjörer, arkitekter och verksamhetsintressenter för att leverera tillförlitliga och styrda dataprodukter.
  • Stödja företagets AI- och generativ AI-initiativ med robusta, säkra och styrda dataplattformar.

Krav

  • Kandidatexamen inom datavetenskap, informationssystem, ingenjörsvetenskap, matematik eller ett närliggande område.
  • Minst 7 års erfarenhet av data engineering, ETL-utveckling eller storskaliga dataplattformar.
  • Minst 3 års praktisk erfarenhet av Databricks och Apache Spark.
  • Goda kunskaper i Python och SQL samt erfarenhet av distribuerad databehandling.
  • Erfarenhet av att bygga molnbaserade datasjöar, datalager och Lakehouse-arkitekturer.
  • Erfarenhet av att stödja initiativ inom AI, maskininlärning eller avancerad analys.
  • Kunskap om datamodellering, datastyrning och hantering av företagsdata.
  • Erfarenhet av att bygga och trimma storskaliga pipelines på AWS, Azure eller Google Cloud.
  • Erfarenhet av Databricks Delta Lake, Unity Catalog, Delta Live Tables, MLflow, Mosaic AI och Databricks Workflows.
  • Praktisk erfarenhet av generativ AI, stora språkmodeller, RAG, vektordatabaser eller AI-drivna applikationer.
  • Kännedom om LangChain, Semantic Kernel, OpenAI API:er, Hugging Face eller jämförbara verktyg.
  • Erfarenhet av feature stores, pipelines för modellträning och MLOps.
  • Erfarenhet av Kafka, Event Hub eller annan strömningsteknik.
  • Databricks Certified Data Engineer Professional eller motsvarande molncertifiering är meriterande.
  • Expertis inom plattformsteknik för Databricks.
  • Erfarenhet av Apache Spark-utveckling.
  • Expertis inom data engineering för AI och maskininlärning.
  • Erfarenhet av datalösningar för generativ AI.
  • Erfarenhet av Lakehouse-arkitektur.
  • Expertis inom datamodellering och datalager.
  • Expertis inom datastyrning och säkerhet.
  • Erfarenhet av dataobservabilitet och tillförlitlighetsteknik.
  • Erfarenhet av molnbaserade dataplattformar på AWS eller Azure.
  • Erfarenhet av DataOps, CI/CD och automatisering.
  • Erfarenhet av tekniskt ledarskap och mentorskap.

Förmåner

  • Uppdrag som självständig konsult (PJ).
  • Hybridupplägg med tre dagar i veckan på plats på kontoret i Pinheiros, São Paulo.

Relaterade jobb

Newstel Worldwide

Dansktalande kundtjänstmedarbetare på deltid (Portugal, distansarbete)

Newstel Worldwide

Ge kundsupport på danska på distans åt Newstels flerspråkiga BPO-kunder och nå service- och kvalitetsmålen. Deltidsrollen omfattar frågor via e-post, chatt och telefon från Portugal.

Öppna