LogoFresh Jobs Ahead
Allata
Allata
201 – 500 Medewerkers
Sponsor voor H1B-visumAuto-industrieGezondheidszorgLogistiek
Allata is een wereldwijd adviesbureau dat organisaties helpt digitale strategie om te zetten in concrete bedrijfsverbeteringen. De teams zijn actief op het gebied van strategie, klantervaring, cloud en technologie, data en kunstmatige intelligentie. Ze ondersteunen klanten bij modernisering, personalisatie en een efficiëntere bedrijfsvoering. Allata bedient onder meer de sectoren automotive, gezondheidszorg, logistiek, financiële dienstverlening en hightech. Het bedrijf put daarbij uit de ervaring van voormalige IT-leiders en adviesprofessionals om complexe digitale initiatieven te begeleiden.
LinkedIn
Vacatures bij het bedrijf

Databricks-dataplatformmanager (op afstand, Texas)

Leid de architectuur en oplevering van beheerde Lakehouse- en bedrijfsbrede datawarehouseplatforms voor Allata. Geef richting aan datapipelines, beveiliging, schaalbaarheid en de ontwikkeling van dataproducten.

USVerenigde StatenTXTexasOp afstandVoltijdMediorSeniorVereiste Taal: EngelsDatawetenschapper
AirflowAWSAzureCloudETLGrafanaJenkinsMS SQL ServerOraclePostgresPrometheusPySparkScalaSparkSQLUnity

Beschrijving

  • Bepaal de architectuur, technologiekeuzes, referentiepatronen en integratieblauwdrukken voor Lakehouse- en bedrijfsbrede datawarehouseplatforms.
  • Maak conceptuele, logische en fysieke modellen voor dataproducten met meerdere tenants en voor specifieke sectoren.
  • Standaardiseer datalagen voor opname, ruwe opslag, curatie en ontsluiting.
  • Stel governancepraktijken vast voor metadata, catalogi, lineage, datacontracten en classificatie.
  • Definieer beveiligings- en compliancecontroles voor toegang, maskering, versleuteling, netwerksegmentatie en audits.
  • Plan de schaalbaarheid, hoge beschikbaarheid, disaster recovery, capaciteit en kostenbeheersing van het platform.
  • Leid de selectie en integratie van Databricks, Delta Lake, Delta Live Tables, Fivetran, Azure Data Factory of Data Fabric, en tools voor orkestratie en monitoring.
  • Stel CI/CD-praktijken voor data-assets vast en handhaaf deze, met inbegrip van tests, geautomatiseerde releases en rollbackplannen.
  • Definieer werkwijzen voor batch- en streamingopname, compactie, partitionering en opslag.
  • Stel observabilitystandaarden vast voor meetwaarden, SLA's, dashboards, logs, traces en waarschuwingen.
  • Bied technisch leiderschap en begeleiding aan Data Engineering-teams.
  • Beoordeel de architectuur en code van kritieke componenten.
  • Werk samen met Data Product Owners en stakeholders op het gebied van beveiliging, infrastructuur, BI en ML om vereisten om te zetten in oplossingen en roadmaps.
  • Bouw, test en implementeer verwerkingsmodules met Spark, PySpark of Scala, Spark SQL en stored procedures.
  • Ontwikkel en optimaliseer datapipelines op Databricks en databaseplatforms.
  • Pas DevOps-praktijken, infrastructure as code, CI/CD, geautomatiseerd testen en versiebeheer toe.
  • Los complexe problemen met datakwaliteit, prestaties en beschikbaarheid op en stimuleer voortdurende verbeteringen.

Vereisten

  • Eerdere ervaring als architect of technisch leider voor bedrijfsbrede dataplatforms.
  • Praktische kennis van Databricks-technologieën, waaronder Delta Lake, Unity Catalog, Delta Live Tables, Auto Loader en Structured Streaming.
  • Sterke vaardigheden in Spark, PySpark en/of Scala, Spark SQL en optimalisatie van gedistribueerde jobs.
  • Achtergrond in het ontwerpen van datawarehouses en Lakehouses.
  • Praktische kennis van Medallion-, Lambda- en Kappa-patronen.
  • Ervaring met de integratie van SaaS-, ETL- of connectortools zoals Fivetran.
  • Ervaring met orkestratietools zoals Airflow, Azure Data Factory en Data Fabric.
  • Ervaring met relationele en hybride databases, waaronder MS SQL Server, PostgreSQL, Oracle, Azure SQL en AWS RDS/Aurora of vergelijkbare systemen.
  • Bekwaamheid in CI/CD voor datapipelines met Azure DevOps, GitHub Actions, Jenkins of vergelijkbare tools.
  • Ervaring met het verpakken en implementeren van artefacten zoals .whl-bestanden en containers.
  • Ervaring met batch- en streamingverwerking, bestandscompactie, partitionering en opslagoptimalisatie.
  • Inzicht in cloudbeveiliging, IAM/RBAC, versleuteling, VPC/VNet-concepten en cloudnetwerken.
  • Bekendheid met observability- en monitoringtools zoals Prometheus, Grafana, Datadog of native clouddiensten.
  • Ervaring met het automatiseren van CI/CD-pipelines en trunk-based development is een pré.
  • Gevorderde PySpark-vaardigheden zijn een pré.
  • Gevorderde vaardigheden in het optimaliseren en orkestreren van Spark-workflows zijn een pré.
  • Certificeringen in Databricks, cloudarchitectuur of data zijn een pré.
  • Vermogen om complexe dataproblemen te herkennen, te onderzoeken en op te lossen.
  • Sterke samenwerkings- en communicatievaardigheden.
  • Nieuwsgierigheid en openheid voor nieuwe tools, technologieën en methoden.

Voordelen

  • Fulltime functie.
  • Gelijke kansen en een inclusieve werkomgeving.
  • Inzet voor diversiteit.

Gerelateerde vacatures

Airbnb

Senior data scientist, onderzoek naar people analytics

Airbnb
5.001 – 10.000 Medewerkers
Sponsor voor H1B-visumE-commerceLogistiekReizen
USVerenigde Staten
$ 180.000 – $ 210.000 / jaar
Op afstandVoltijdSeniorVereiste Taal: EngelsDatawetenschapper
PythonSQL

Leid onderzoek naar people analytics bij Airbnb en gebruik causale inferentie en statistische modellen om beslissingen over personeel, beloning, werving en behoud te onderbouwen. Werk samen met stakeholders aan gevoelige analyses en rapportages.

Openen