Sigma Software Group
Sigma Software Group
1.001 – 5.000 Medewerkers
AdviesAuto-industrieGezondheidszorg
Sigma Software Group is een multinationaal technologieadviesbedrijf dat in 2002 werd opgericht. De teams bieden softwareontwikkeling, grafisch ontwerp, testen en technische ondersteuning aan klanten in sectoren zoals de auto-industrie, gezondheidszorg, telecommunicatie, luchtvaart, bankwezen, gaming, vastgoed en reclame. Het bedrijf werft IT-specialisten voor complexe engineeringprojecten en ondersteunt hun professionele ontwikkeling met mentorschap en voortdurend leren. Mogelijkheden voor werken op afstand maken deel uit van het werkmodel, met projecten voor organisaties zoals AstraZeneca, Scania en SAS.

Senior data-engineer voor Databricks-migratie

Migreer enterprise-analyses voor retail van BigQuery naar Databricks Lakehouse en bouw schaalbare PySpark-pipelines, een medallion-architectuur en beheerde clouddataplatforms.

Beschrijving

  • Help een grootschalig analyseplatform migreren van BigQuery naar Databricks.
  • Ontwerp en bouw schaalbare Lakehouse-architecturen met Databricks en Delta Lake.
  • Beoordeel bestaande ETL- en ELT-workloads en bepaal migratieaanpakken.
  • Bouw en optimaliseer pipelines voor grote hoeveelheden retail- en analysedata.
  • Implementeer strategieën voor incrementele verwerking en schaalbare transformatieraamwerken.
  • Ontwikkel en onderhoud Spark-oplossingen voor gegevensverwerking met PySpark.
  • Ontwerp en onderhoud de medallion-lagen Bronze, Silver en Gold.
  • Pas praktijken voor datagovernance en beveiliging toe met Unity Catalog.
  • Werk samen met teams voor Data Science, Analytics, Product en Customer Engineering.
  • Draag bij aan architectuurbesprekingen en het ontwerpen van technische oplossingen.
  • Creëer herbruikbare componenten voor dataplatforms en engineeringstandaarden.
  • Beoordeel code en verbeter de betrouwbaarheid en onderhoudbaarheid van het platform.
  • Spoor complexe SQL- en Spark-workloads op en optimaliseer ze.
  • Ondersteun productiedeployments en de modernisering van het platform.

Vereisten

  • Minimaal vijf jaar professionele ervaring als Data Engineer.
  • Sterke programmeervaardigheden in Python en gevorderde SQL-kennis.
  • Commerciële, praktische ervaring met Databricks.
  • Goede kennis van Apache Spark, met name PySpark.
  • Ervaring met het ontwerpen en bouwen van moderne clouddataplatforms.
  • Ervaring met het ontwikkelen van ETL- en ELT-pipelines en oplossingen voor grootschalige gegevensverwerking.
  • Praktische ervaring met Delta Lake.
  • Ervaring met Spark Declarative Pipelines.
  • Ervaring met het monitoren van clusters, het analyseren van meetgegevens en het optimaliseren van prestaties.
  • Inzicht in architecturen voor gedistribueerde gegevensverwerking.
  • Inzicht in concepten voor datawarehousing en dimensionale modellering.
  • Ervaring met Airflow of een vergelijkbare orkestratietool.
  • Ervaring met het optimaliseren van complexe analytische SQL-workloads.
  • Ervaring met het toepassen van CI/CD-praktijken op dataplatforms.
  • Vaardig in probleemoplossing en prestatieoptimalisatie.
  • Effectief kunnen samenwerken met multidisciplinaire, internationale teams.
  • Engels op minimaal hoger gemiddeld niveau.

Voordelen

  • Werken op afstand is mogelijk voor medewerkers.
  • Mogelijkheden om continu te leren.
  • Mogelijkheden om met technologie mee te groeien.
  • Betekenisvolle impact door engineeringwerk.
  • Werken aan complexe internationale projecten.

Gerelateerde vacatures

Intetics

ML Data Engineer, op afstand vanuit Roemenië

Intetics
501 – 1.000 Medewerkers
AdviesGezondheidszorgLogistiek

Bouw realtime-, grafiek- en tijdreeksdata-infrastructuur voor de prestaties van atleten. Ondersteun de evaluatie van machine learning en AI-systemen voor een klant van Intetics in de Verenigde Staten.

Openen
AllCloud

Data Engineer met kennis van het Hebreeuws

AllCloud

Bouw AWS-lakehouseplatforms, datapijplijnen en AI-oplossingen voor de cloudadviesklanten van AllCloud. Ontwerp schaalbare architecturen en help klanten hun datasystemen te moderniseren.

Openen