AVANTTi
AVANTTi
51 – 200 Mitarbeitende
BeratungFertigungLogistik
AVANTTi ist ein brasilianisches Technologieberatungsunternehmen, das Organisationen dabei unterstützt, Technologie- und Innovationsinitiativen in messbaren Geschäftswert umzuwandeln. Zu den Dienstleistungen gehören die Vermittlung von IT-Fachkräften und die Talentgewinnung, der schnelle Aufbau von Squads, die Softwareentwicklung in einer Software Factory mit Technologien wie ABAP, Java und .NET sowie das Portfolio- und SAFe-Management nach der VMO-Methodik (Value Management Office). AVANTTi unterstützt die digitale Transformation und die Umsetzung von IT-Projekten in Unternehmen aus Branchen wie Banken, Fertigung, Logistik, Einzelhandel und Bildung und ist in Curitiba, São Paulo und Rio de Janeiro tätig.

Senior Azure-Databricks-Dateningenieur

Senior Data Engineer bei AVANTTi mit Schwerpunkt auf Azure-Databricks-Pipelines und ETL/ELT-Workflows. Unterstützt skalierbare Unternehmensdatensysteme für Analysen und Geschäftsanforderungen.

Beschreibung

  • Erstellt und optimiert Datenpipelines mit Azure Databricks, PySpark, Azure Data Factory, Python und Azure Data Lake.
  • Entwickelt und betreut ETL/ELT-Workflows für die Integration und Analyse von Unternehmensdaten.
  • Liest Daten aus verschiedenen Systemen ein, transformiert, validiert und gleicht sie ab.
  • Erstellt Datenprofile und analysiert Daten, um Qualitätsprobleme zu erkennen und Konsistenz sowie Zuverlässigkeit sicherzustellen.
  • Verfasst und optimiert komplexe SQL-Abfragen für eine effiziente Datenverarbeitung.
  • Behebt Probleme und verbessert die Leistung bei umfangreichen Workloads.
  • Behebt Produktionsvorfälle der Stufe 2, die Azure-Data-Factory-Pipelines, Databricks-Jobs und Datenworkflows betreffen.
  • Überwacht und unterstützt Produktionspipelines, um Verfügbarkeit, Skalierbarkeit und Betriebseffizienz sicherzustellen.
  • Unterstützt Bereitstellungen und Releases in Entwicklungs-, Staging- und Produktionsumgebungen.
  • Stimmt Prioritäten projektübergreifend ab, arbeitet selbstständig und hält Fristen ein.

Anforderungen

  • Mehr als acht Jahre Berufserfahrung im Data Engineering.
  • Nachgewiesene Erfahrung im Data Engineering und in der ETL-Entwicklung.
  • Fundierte praktische Erfahrung mit Azure Databricks und Azure Data Factory (ADF).
  • Fortgeschrittene Kenntnisse in der ETL/ELT-Entwicklung und Datentransformation.
  • Fortgeschrittene SQL-Kenntnisse, einschließlich des Schreibens, Optimierens und Abstimmens komplexer Abfragen.
  • Erfahrung mit Python und PySpark.
  • Erfahrung mit Azure Data Lake und der Integration von Unternehmensdaten.
  • Erfahrung mit Datenanalyse, Validierung, Profiling und Qualitätssicherung.
  • Erfahrung in der Betreuung, Überwachung und Fehlerbehebung von Produktionspipelines.
  • Fähigkeit, selbstständig zu arbeiten, organisiert zu bleiben und Prioritäten zu setzen.
  • Gute mündliche und schriftliche Kommunikationsfähigkeiten.
  • Fortgeschrittene Englischkenntnisse.
  • Bevorzugt: Erfahrung mit CI/CD-Pipelines und DevOps-Praktiken.
  • Bevorzugt: Kenntnisse in Git, Azure DevOps oder vergleichbaren Tools für Versionsverwaltung und Bereitstellung.
  • Bevorzugt: Kenntnisse in Cloud-Tools für Monitoring, Logging und Observability.

Zusatzleistungen

  • Beschäftigung auf Grundlage eines CLT-Vertrags.
  • Vollständig remote arbeiten.

Ähnliche Stellen

Hitss Brasil

Cloud-Architekt im mittleren Karrierelevel – Kubernetes und OpenShift

Hitss Brasil
5.001 – 10.000 Mitarbeitende
BeratungLogistikMarketing

Unterstützen Sie die Cloud- und Containerumgebungen von Hitss Brasil mit Schwerpunkt auf Kubernetes und Red Hat OpenShift. Legen Sie Architekturstandards für Plattformen fest und automatisieren Sie Konfigurationen mit Ansible, um einen zuverlässigen Betrieb zu unterstützen.

Öffnen