Allata
Allata
Allata ist ein global tätiges Beratungsunternehmen, das Organisationen dabei unterstützt, digitale Strategien in konkrete geschäftliche Verbesserungen umzusetzen. Die Teams arbeiten in den Bereichen Strategie, Kundenerlebnis, Cloud und Technologie, Daten sowie künstliche Intelligenz und unterstützen Kunden bei der Modernisierung, Personalisierung und Steigerung der betrieblichen Effizienz. Allata ist unter anderem in den Branchen Automobil, Gesundheitswesen, Logistik, Finanzdienstleistungen und Hightech tätig. Dabei nutzt das Unternehmen die Erfahrung ehemaliger IT-Führungskräfte und Beratungsexperten, um komplexe digitale Vorhaben zu begleiten.

Databricks-Datenplattformmanager (remote, Texas)

Leiten Sie Architektur und Bereitstellung gesteuerter Lakehouse- und unternehmensweiter Data-Warehouse-Plattformen für Allata. Führen Sie Datapipelines, Sicherheit, Skalierbarkeit und die Entwicklung von Datenprodukten.

Beschreibung

  • Legen Sie Architektur, Technologieauswahl, Referenzmuster und Integrationskonzepte für Lakehouse- und unternehmensweite Data-Warehouse-Plattformen fest.
  • Erstellen Sie konzeptionelle, logische und physische Modelle für mandantenfähige und branchenspezifische Datenprodukte.
  • Standardisieren Sie Datenschichten für Datenaufnahme, Rohdatenspeicherung, Aufbereitung und Bereitstellung.
  • Etablieren Sie Governance-Praktiken für Metadaten, Kataloge, Datenherkunft, Datenverträge und Klassifizierung.
  • Definieren Sie Sicherheits- und Compliance-Kontrollen für Zugriffe, Maskierung, Verschlüsselung, Netzwerksegmentierung und Audits.
  • Planen Sie Skalierbarkeit, hohe Verfügbarkeit, Notfallwiederherstellung, Kapazität und Kostenmanagement der Plattform.
  • Leiten Sie die Auswahl und Integration von Databricks, Delta Lake, Delta Live Tables, Fivetran, Azure Data Factory oder Data Fabric sowie Orchestrierungs- und Monitoring-Tools.
  • Legen Sie CI/CD-Praktiken für Datenbestände fest und setzen Sie diese durch, einschließlich Tests, automatisierter Releases und Rollback-Plänen.
  • Definieren Sie Ansätze für Batch- und Streaming-Datenaufnahme, Kompaktierung, Partitionierung und Speicherung.
  • Legen Sie Standards für die Beobachtbarkeit von Kennzahlen, SLAs, Dashboards, Logs, Traces und Warnmeldungen fest.
  • Übernehmen Sie die technische Führung und Betreuung von Data-Engineering-Teams.
  • Überprüfen Sie Architektur und Code kritischer Komponenten.
  • Arbeiten Sie mit Data Product Ownern sowie Stakeholdern aus den Bereichen Sicherheit, Infrastruktur, BI und ML zusammen, um Anforderungen in Lösungen und Roadmaps umzusetzen.
  • Entwickeln, testen und implementieren Sie Verarbeitungsmodule mit Spark, PySpark oder Scala, Spark SQL und Stored Procedures.
  • Entwickeln und optimieren Sie Datenpipelines auf Databricks und Datenbankplattformen.
  • Wenden Sie DevOps-Praktiken, Infrastructure as Code, CI/CD, automatisierte Tests und Versionsverwaltung an.
  • Lösen Sie komplexe Probleme mit Datenqualität, Performance und Verfügbarkeit und treiben Sie kontinuierliche Verbesserungen voran.

Anforderungen

  • Erfahrung als Architekt oder technische Führungskraft für unternehmensweite Datenplattformen.
  • Praktische Kenntnisse der Databricks-Technologien, darunter Delta Lake, Unity Catalog, Delta Live Tables, Auto Loader und Structured Streaming.
  • Fundierte Kenntnisse in Spark, PySpark und/oder Scala, Spark SQL und der Optimierung verteilter Jobs.
  • Erfahrung mit dem Design von Data Warehouses und Lakehouses.
  • Praktische Kenntnisse der Medallion-, Lambda- und Kappa-Architekturmuster.
  • Erfahrung mit der Integration von SaaS-, ETL- oder Konnektortools wie Fivetran.
  • Erfahrung mit Orchestrierungstools wie Airflow, Azure Data Factory und Data Fabric.
  • Erfahrung mit relationalen und hybriden Datenbanken, darunter MS SQL Server, PostgreSQL, Oracle, Azure SQL und AWS RDS/Aurora oder vergleichbaren Systemen.
  • Sicherer Umgang mit CI/CD für Datenpipelines mithilfe von Azure DevOps, GitHub Actions, Jenkins oder ähnlichen Tools.
  • Erfahrung mit der Paketierung und Bereitstellung von Artefakten wie .whl-Dateien und Containern.
  • Erfahrung mit Batch- und Streaming-Verarbeitung, Dateikompaktierung, Partitionierung und Speicheroptimierung.
  • Verständnis von Cloud-Sicherheit, IAM/RBAC, Verschlüsselung, VPC-/VNet-Konzepten und Cloud-Netzwerken.
  • Vertrautheit mit Beobachtbarkeits- und Monitoring-Tools wie Prometheus, Grafana, Datadog oder nativen Cloud-Diensten.
  • Erfahrung mit der Automatisierung von CI/CD-Pipelines und trunkbasierter Entwicklung ist von Vorteil.
  • Fortgeschrittene PySpark-Kenntnisse sind von Vorteil.
  • Fortgeschrittene Kenntnisse der Optimierung und Orchestrierung von Spark-Workflows sind von Vorteil.
  • Zertifizierungen in Databricks, Cloud-Architektur oder Daten sind von Vorteil.
  • Fähigkeit, komplexe Datenprobleme zu erkennen, zu untersuchen und zu lösen.
  • Ausgeprägte Kommunikations- und Teamfähigkeit.
  • Neugier und Offenheit für neue Tools, Technologien und Methoden.

Zusatzleistungen

  • Vollzeitstelle.
  • Gleichberechtigungsorientiertes und inklusives Arbeitsumfeld.
  • Engagement für Vielfalt.

Ähnliche Stellen

Lunar Solar Group

Marketing-Messdatenwissenschaftler (Remote, USA)

Lunar Solar Group
51 – 200 Mitarbeitende
BeratungE-CommerceMarketing

Entwickle Attributions-, Inkrementalitäts- und Media-Mix-Messungen für Lunar Solar Group, eine Wachstumsberatung und Digitalmarketing-Agentur. Überführe Analysen in konkrete Budgetempfehlungen für Kunden.

Öffnen
Airbnb

Senior Data Scientist für People-Analytics-Forschung

Airbnb

Leite People-Analytics-Forschung bei Airbnb und nutze kausale Inferenz und statistische Modellierung, um Entscheidungen zu Personal, Vergütung, Recruiting und Mitarbeiterbindung zu unterstützen. Arbeite mit Stakeholdern an sensiblen Analysen und Berichten.

Öffnen
The Cigna Group

Senior Lead Data Builder, Remote (USA)

The Cigna Group

Entwickeln Sie wiederverwendbare Silver- und Gold-Datenprodukte für die Gesundheitsdienste von Cigna mit Databricks sowie gesteuerten MVP- und CI/CD-Pipelines. Überführen Sie Geschäftsanforderungen in produktionsreife Datenlösungen und etablieren Sie Standards im Data Operations-Bereich.

Öffnen