The Codest is een internationaal softwareontwikkelingsbedrijf met het hoofdkantoor in het Verenigd Koninkrijk en technologiehubs in Polen. Het bouwt digitale producten en versterkt engineeringteams van klanten met ervaren ontwikkelaars voor backend- en frontendontwikkeling, cloudengineering en data-engineering. Het bedrijf werkt via projectontwikkeling en teamuitbreiding met ondernemingen, scale-ups en softwareleveranciers, waaronder klanten in fintech, e-commerce en adtech.
Senior Databricks-data-engineer
Bouw op afstand vanuit Polen aan Databricks-platforms en datapijplijnen. Werk mee aan een klantgerichte bankapp voor een grote Japanse financiële groep.
Beschrijving
- Bouw en onderhoud schaalbare Databricks-dataplatforms en datapijplijnen.
- Werk samen met teams uit verschillende disciplines aan betrouwbare, toegankelijke data voor analyses en business intelligence.
- Gebruik de Bronze-, Silver- en Gold-lakehouselagen om de Medallion-architectuur toe te passen.
- Ontwikkel raamwerken voor datakwaliteit met geautomatiseerde tests en monitoring.
- Gebruik time travel, vacuum-bewerkingen en Z-ordering in Delta Lake.
- Ontwikkel en onderhoud complexe ETL-/ELT-pijplijnen voor grote dagelijkse datasets.
- Richt CI/CD-workflows voor datapijplijnen in met Databricks Asset Bundles of vergelijkbare tools.
- Bouw oplossingen voor batch- en realtimeverwerking met Structured Streaming en Delta Live Tables.
- Verbeter de prestaties en kostenefficiëntie van Spark-jobs met automatische clusterschaling en resourcebeheer.
- Koppel Databricks-API's aan externe systemen.
- Ontwerp schaalbare data-architecturen met Unity Catalog, Delta Lake en Apache Spark.
- Bouw data mesh-architecturen met governance en het volgen van de herkomst van data.
- Werk mee aan een klantgerichte bankapplicatie voor een toonaangevende financiële groep in Japan.
Vereisten
- Je hebt minstens zes jaar ervaring in data engineering.
- Je hebt ruime ervaring met het ontwerpen en in productie nemen van datapijplijnen en ETL-/ELT-workflows.
- Je bent vaardig in Python, PySpark en SQL.
- Je hebt uitgebreide praktijkervaring met AWS Glue, Lambda, Redshift en S3.
- Je kent tools voor datagovernance en databeheer, waaronder Unity Catalog en AWS SageMaker Unified Studio.
- Je hebt ervaring met datamigraties en het moderniseren van verouderde systemen.
- Je communiceert effectief in het Engels.
- Een Databricks Certified Professional Data Engineer-certificering of gelijkwaardig is een pré.
- Ervaring met containerisatie- en orkestratietools zoals Docker en Kubernetes is een voordeel.
Voordelen
- Je werkt in een prettige omgeving waarin samenwerking centraal staat.
- Je krijgt mogelijkheden om je professioneel verder te ontwikkelen.
- Je draagt bij aan een internationaal project voor een bankapp.
- Je werkt op afstand.