Vultr ist ein global tätiges Unternehmen für Cloud-Infrastruktur, das Entwicklerinnen, Entwicklern und Unternehmen bedarfsgerechte Rechen-, Speicher-, Netzwerk- und Datenbankdienste bietet. Die Plattform umfasst virtuelle Maschinen, Bare-Metal-Server, GPU-beschleunigte Infrastruktur, verwaltete Datenbanken, Objekt- und Blockspeicher, Kubernetes sowie bereitstellbare Marketplace-Anwendungen. Mit Unterstützung für AMD- und NVIDIA-GPUs, schnellen Netzwerken und Infrastruktur in mehr als 32 Rechenzentrumsregionen bedient Vultr Software-, KI- und High-Performance-Computing-Workloads über entwicklerorientierte APIs und skalierbare Cloud-Tools.
Senior Data Engineer, BigQuery
Entwickle zuverlässige BigQuery-Pipelines und kontrollierte Datensätze für Vultrs globale Cloud-Infrastrukturplattform. Arbeite mit Engineering, Business Intelligence und Data Science zusammen, um Unternehmensanalysen zu unterstützen.
Vereinigte Staaten155.000 $ – 180.000 $ / Jahr
RemoteVollzeitSeniorErforderliche Sprache: EnglischDateningenieurBeschreibung
- Operative Datenpipelines nach BigQuery aufbauen und pflegen, bei Bedarf mit inkrementellen Ladevorgängen und Change Data Capture.
- Bronze-, Silver- und Gold-Datensätze erstellen, einschließlich gemeinsam genutzter Geschäftsentitäten und Berichtsmetriken.
- Datenvalidierung und Abstimmung zwischen Quellsystemen und Zieldatensätzen automatisieren.
- Aktualisierungen, Löschungen und historische Korrekturen in Quelldaten an nachgelagerte Datensätze weitergeben.
- Den Zustand der Pipelines überwachen, Ausnahmen und Schemaänderungen verwalten sowie Wiederherstellungsverfahren und Datenherkunft dokumentieren.
- Mit Business-Intelligence- und Data-Science-Teams zusammenarbeiten, um dokumentierte, leistungsstarke Datensätze bereitzustellen.
- Mit Engineering und Verantwortlichen für Geschäftssysteme zusammenarbeiten, um Lücken in Quelldaten zu schließen und zuverlässige Datenübergaben festzulegen.
- Im Rahmen der vereinbarten Unternehmensarchitektur Engineering-Standards für Tests, Bereitstellung, Sicherheit und Kostenmanagement festlegen und umsetzen.
- Bestehende Pipelines überprüfen und wiederholbare Engineering-Praktiken etablieren.
- Produktive Datensätze für vorrangige Berichtsanforderungen bereitstellen.
- Erste Datenqualitätskontrollen und Überwachungsverfahren einführen.
- Überprüfen, ob historische Korrekturen an Quelldaten korrekt in nachgelagerten Berichten erscheinen.
Anforderungen
- Mindestens fünf Jahre Erfahrung im Data Engineering, einschließlich Verantwortung für produktive Pipelines.
- Fortgeschrittene SQL-Kenntnisse und sehr gute Python-Kenntnisse.
- Praxiserfahrung mit BigQuery im Produktivbetrieb, einschließlich Partitionierung, Clustering, Abfrageleistung und Kostenkontrolle.
- Erfahrung mit Tools für Datentransformation und Orchestrierung wie dbt, Airflow, Cloud Composer, Dagster oder vergleichbaren Lösungen.
- Erfahrung mit dem Extrahieren von Daten aus operativen Datenbanken sowie mit inkrementellen Ladevorgängen, Aktualisierungen, Löschungen, Backfills und historischen Korrekturen.
- Fundierte Kenntnisse in der Dimensionsmodellierung und der Nachverfolgung historischer Daten.
- Erfahrung mit automatisierten Datenqualitätsprüfungen, Abstimmung, Überwachung, Alarmierung und Wiederherstellung.
- Erfahrung mit Git, Code-Reviews, automatisierten Tests und CI/CD.
- Fähigkeit, teamübergreifend mit Engineering, Analytics und Fachbereichen zu arbeiten.
- Erfahrung mit MySQL, ClickHouse, Kafka oder Google Pub/Sub.
- Vertrautheit mit Parquet, effizienter Speichernutzung sowie Spark oder PySpark.
- Fähigkeit, Datendefinitionen und Geschäftslogik im Anwendungscode oder in einem ORM nachzuverfolgen; PHP-Kenntnisse sind von Vorteil.
- Erfahrung mit Salesforce, NetSuite, Power BI oder vergleichbaren Systemen.
- Vertrautheit mit IAM, Dienstkonten, dem Prinzip der geringsten Rechte und sicherer Workload-Authentifizierung.
- Erfahrung mit Tools für Metadaten, Datenherkunft oder Datenbeobachtbarkeit.
- Erfahrung mit dem Einsatz von KI oder Automatisierung für den Pipeline-Betrieb, die Untersuchung von Vorfällen oder den kontrollierten Datenzugriff für LLM-Anwendungen.
- Erfahrung in den Bereichen Cloud-Infrastruktur, Telekommunikation, Rechenzentren oder einem anderen anlagenintensiven Umfeld.
Zusatzleistungen
- Das Unternehmen übernimmt 100 % der Versicherungsbeiträge für Kranken-, Zahn- und Augenversicherung der Beschäftigten.
- 401(k)-Matching in Höhe von 100 % der Beiträge bis zu 4 %, mit sofortiger Unverfallbarkeit.
- Jährlicher Zuschuss für berufliche Weiterbildung in Höhe von 2.500 US-Dollar.
- 11 Feiertage, angesammelte bezahlte Freizeit und eine Übertragungsregelung.
- Zusätzliche bezahlte Freizeit zum drei- und zehnjährigen Betriebsjubiläum.
- Alle fünf Jahre ein Monat bezahltes Sabbatical.
- Jährlicher Jubiläumsbonus.
- Zuschuss für die Ausstattung des Remote-Arbeitsplatzes: 500 US-Dollar im ersten Jahr und 400 US-Dollar in jedem Folgejahr.
- Erstattung von Internetkosten bis zu 75 US-Dollar pro Monat.
- Erstattung von Fitnessstudio-Mitgliedschaften bis zu 50 US-Dollar pro Monat.
- Vom Unternehmen bezahltes Wellable-Abonnement.