Keep IT Simple
Keep IT Simple
Keep IT Simple (KIS) ist ein IT-Dienstleister und Anbieter von IT-Lösungen mit Sitz im Silicon Valley, der Organisationen in ganz Kalifornien und darüber hinaus betreut. Das 1988 gegründete Unternehmen unterstützt seine Kunden bei komplexen technologischen Anforderungen in den Bereichen Cybersicherheit, Virtualisierung, Cloud-Lösungen und Beratung zur Netzwerkinfrastruktur. Es ist für Branchen wie Logistik, Gesundheitswesen und Cybersicherheit tätig und legt dabei Wert auf praxisnahe IT-Beratung, kostenbewusste Lösungen und einen reaktionsschnellen Kundenservice.

Senior-Databricks-Dateningenieur für KI-Plattformen

Entwickeln Sie Databricks- und Cloud-Datenplattformen für ein globales Unternehmen in den Bereichen Versicherung und Vermögensverwaltung. Ermöglichen Sie kontrollierte Analysen, maschinelles Lernen und generative KI-Lösungen.

Beschreibung

  • Entwickeln und warten Sie skalierbare Datenpipelines und Datenprodukte mit Databricks, Spark, Python und SQL.
  • Erstellen und verbessern Sie Batch-, Streaming- und Echtzeit-Integrationen über interne und externe Datenquellen hinweg.
  • Implementieren Sie Databricks-Lakehouse-Architekturen mit Delta Lake und Medallion-Mustern.
  • Stellen Sie Datenprodukte für Analysen, prädiktive Modellierung, maschinelles Lernen und generative KI bereit.
  • Arbeiten Sie mit Data Scientists und KI-Ingenieuren zusammen, um Daten für KI- und ML-Anwendungsfälle aufzubereiten, umzuwandeln und zu steuern.
  • Erstellen Sie Pipelines für Feature Engineering und unterstützen Sie Prozesse über den gesamten Lebenszyklus des maschinellen Lernens.
  • Entwickeln Sie Datenlösungen für RAG, Vektor- und semantische Suche sowie LLM-Anwendungen.
  • Optimieren Sie Spark-Jobs, SQL-Workloads und Datenframeworks im Hinblick auf Leistung, Skalierbarkeit und Kosteneffizienz.
  • Schaffen Sie Funktionen für Datenqualität, Beobachtbarkeit, Datenherkunft, Governance und Überwachung.
  • Erfüllen Sie Standards für Datenschutz, Sicherheit und verantwortungsvolle KI.
  • Unterstützen Sie CI/CD, Infrastructure as Code und DataOps auf der gesamten Datenplattform.
  • Begleiten Sie Nachwuchsingenieure und fördern Sie bewährte Engineering-Praktiken.
  • Arbeiten Sie mit Data Scientists, KI-Ingenieuren, Architekten und Geschäftsinteressenten zusammen, um vertrauenswürdige, kontrollierte Datenprodukte bereitzustellen.
  • Unterstützen Sie unternehmensweite KI- und generative KI-Initiativen mit robusten, sicheren und kontrollierten Datenplattformen.

Anforderungen

  • Bachelorabschluss in Informatik, Informationssystemen, Ingenieurwesen, Mathematik oder einem verwandten Fachgebiet.
  • Mindestens 7 Jahre Erfahrung im Data Engineering, in der ETL-Entwicklung oder mit Datenplattformen im großen Maßstab.
  • Mindestens 3 Jahre praktische Erfahrung mit Databricks und Apache Spark.
  • Fundierte Python- und SQL-Kenntnisse sowie Erfahrung mit verteilter Datenverarbeitung.
  • Erfahrung mit dem Aufbau von Cloud Data Lakes, Data Warehouses und Lakehouse-Architekturen.
  • Erfahrung mit der Unterstützung von KI-, Machine-Learning- oder Advanced-Analytics-Initiativen.
  • Kenntnisse in Datenmodellierung, Governance und unternehmensweitem Datenmanagement.
  • Erfahrung mit dem Aufbau und der Optimierung umfangreicher Pipelines auf AWS, Azure oder Google Cloud.
  • Erfahrung mit Databricks Delta Lake, Unity Catalog, Delta Live Tables, MLflow, Mosaic AI und Databricks Workflows.
  • Praktische Erfahrung mit generativer KI, Large Language Models, RAG, Vektordatenbanken oder KI-gestützten Anwendungen.
  • Vertrautheit mit LangChain, Semantic Kernel, OpenAI-APIs, Hugging Face oder vergleichbaren Tools.
  • Erfahrung mit Feature Stores, Modelltrainingspipelines und MLOps.
  • Erfahrung mit Kafka, Event Hub oder anderen Streaming-Technologien.
  • Die Zertifizierung Databricks Certified Data Engineer Professional oder eine gleichwertige Cloud-Zertifizierung ist von Vorteil.
  • Fundierte Kenntnisse im Engineering der Databricks-Plattform.
  • Erfahrung in der Entwicklung mit Apache Spark.
  • Fachkenntnisse in Data Engineering für KI und maschinelles Lernen.
  • Erfahrung mit Datenlösungen für generative KI.
  • Erfahrung mit Lakehouse-Architekturen.
  • Fundierte Kenntnisse in Datenmodellierung und Data Warehousing.
  • Fundierte Kenntnisse in Data Governance und Sicherheit.
  • Erfahrung mit Datenbeobachtbarkeit und Zuverlässigkeitsentwicklung.
  • Erfahrung mit Cloud-Datenplattformen auf AWS oder Azure.
  • Erfahrung mit DataOps, CI/CD und Automatisierung.
  • Erfahrung in technischer Führung und Mentoring.

Zusatzleistungen

  • Tätigkeit als unabhängiger Auftragnehmer (PJ).
  • Hybrides Arbeitsmodell mit drei Präsenztagen pro Woche im Büro in Pinheiros, São Paulo.

Ähnliche Stellen

Salonkee

Salonkee-Vertriebsmitarbeiter (Quereinstieg) – Hannover

Salonkee
51 – 200 Mitarbeitende
MarktplatzSaaSSchönheit

Baue Salonkees Salonsoftware-Geschäft in Hannover aus, indem du Beziehungen zu Saloninhaberinnen und -inhabern aufbaust und sie durch Produktvorführungen führst. Betreue den gesamten Verkaufsprozess von der Akquise bis zum Abschluss und plane deine Woche selbstständig.

Öffnen
Red Hat

Consulting-Cloud-Architekt für OpenShift

Red Hat

Entwirf und implementiere Lösungen mit Red Hat OpenShift, Kubernetes und Hybrid-Cloud für Unternehmenskunden. Leite Kundenprojekte mit Schwerpunkt auf Infrastruktur, Automatisierung und Anwendungsbereitstellung.

Öffnen