Bitful is een adviesbureau op het gebied van technologie dat samenwerkt met organisaties in de telecommunicatie, de overheid, defensie, logistiek en de gezondheidszorg. De diensten omvatten cloudinfrastructuur, advies over data-analyse en het ontwerpen en ontwikkelen van maatwerksoftware. Het bedrijf omschrijft zijn aanpak als mensgericht, met de nadruk op het vergroten van de toegang tot technologie en het creëren van kansen in gemeenschappen die minder goed worden bediend. Bitful deelt ook de winst en draagt een deel daarvan bij aan mentorprogramma’s op technologisch gebied.
Senior Data Engineer, Databricks
Bouw Databricks-lakehousepipelines en datasets voor rapportage, machine learning en analyses. Ondersteun teams op het gebied van financiën, verkoop, supplychain en marketing.
Beschrijving
- Ontwikkel en onderhoud datapipelines en datasets voor rapportage, visualisatie, machine learning en goed onderbouwde beslissingen binnen verschillende bedrijfsonderdelen.
- Ontwikkel schaalbare pipelines en herbruikbare datasets in een Databricks-lakehouse.
- Verzamel, valideer, reinig en transformeer gestructureerde en ongestructureerde gegevens met Python, PySpark en SQL.
- Maak datamodellen en rapportagedatasets voor Tableau en tools zoals Spotfire.
- Verbind bestaande datawarehouses en rapportagesystemen met moderne cloudanalyseplatforms.
- Verbeter de betrouwbaarheid van pipelines, de datakwaliteit en de verwerkingssnelheid.
- Voer geautomatiseerde tests, monitoring, documentatie en CI/CD-praktijken in.
- Werk samen met analisten, architecten, ontwikkelaars en zakelijke stakeholders om bruikbare dataoplossingen te leveren.
- Geef richting aan technisch werk, beoordeel code en begeleid collega-data-engineers.
Vereisten
- Minimaal zeven jaar ervaring in data-engineering, waaronder het bouwen en ondersteunen van datapipelines voor productieomgevingen.
- Sterke SQL-vaardigheden en een grondige kennis van datamodellering, databaseontwerp en datawarehousing.
- Praktische ervaring met Databricks, Apache Spark en cloudplatforms voor data.
- Uitstekende beheersing van Python en PySpark.
- Ervaring met het bouwen van ETL-/ELT-pipelines en het verbinden van gegevens uit meerdere bronsystemen.
- Ervaring met het voorbereiden van betrouwbare datasets voor Tableau of vergelijkbare business-intelligence-tools.
- Bekendheid met versiebeheer, geautomatiseerd testen en CI/CD.
- Vermogen om complexe dataproblemen vast te stellen en de prestaties van pipelines te verbeteren.
- Heldere communicatie en ervaring met samenwerken met technische teams en zakelijke stakeholders.
- Ervaring met Spotfire, Oracle, Informatica, R of datavirtualisatie is een pré.
- Een Databricks-certificering is een pré.