DysrupIT is een bedrijf voor clouddiensten en IT-oplossingen dat organisaties helpt hun technologie te moderniseren en over te stappen op bedrijfsmodellen volgens het as-a-Service-principe. De dienstverlening omvat enterprise-cloud, managed services, applicatieontwikkeling, cybersecurity en data-analyse en informatiemanagement. Het bedrijf ondersteunt zowel kleine en middelgrote organisaties als multinationale ondernemingen. DysrupIT werkt samen met Microsoft en andere cloudplatforms en combineert technische dienstverlening met talentontwikkeling, maatschappelijke impact en langdurige partnerschappen om veilige, schaalbare technologieomgevingen te creëren die aansluiten bij de behoeften van de organisatie.
Senior Data Engineer voor financiële datapipelines op GCP
Bouw controleerbare Google Cloud-datapipelines voor financiële administratie en facturatie. Gebruik BigQuery, Python, SQL en datakwaliteitscontroles voor een nauwkeurige aansluiting.
Beschrijving
- Bouw en onderhoud GCP-ingestiepipelines voor financiële en facturatiegegevens.
- Ontwikkel BigQuery-modellen met geneste ARRAY/STRUCT-tabellen, partitionering en clustering.
- Voeg aansluitingscontroles toe voor bron-, staging- en uitvoerlagen.
- Valideer binnenkomende bestanden en zet ongeldige of onvolledige gegevens in quarantaine.
- Bouw idempotente pipelines die opnieuw kunnen worden uitgevoerd zonder duplicaten of beschadiging.
- Gebruik append-only-tabellen en views als controles om de controleerbaarheid te ondersteunen.
- Verwerk geldbedragen met BigQuery-NUMERIC-typen en passende afronding.
- Beheer referentiegegevens met geldigheidsdatums, waaronder tarieven, mappings en klantkenmerken.
- Volg de herkomst van uitvoergegevens terug naar de brongegevens.
- Schrijf getypeerde, onderhoudbare en goed geteste Python-code met pydantic en pytest.
- Ontwikkel en optimaliseer geavanceerde SQL voor transformatie, aansluiting en rapportage.
- Werk samen met stakeholders uit engineering, analytics en finance om bedrijfsregels om te zetten in betrouwbare datalogica.
- Begeleid collega’s en help standaarden en werkwijzen voor data-engineering vast te stellen.
Vereisten
- Minimaal zes jaar ervaring in data-engineering.
- Aantoonbare ervaring met het bouwen van financiële of facturatiepipelines waarbij elk bedrag moet aansluiten.
- Sterke Python-vaardigheden, waaronder pydantic, getypeerde code en pytest.
- Gevorderde SQL-vaardigheden, waaronder complexe joins, windowfuncties en prestatieoptimalisatie.
- Grondige ervaring met Google BigQuery, waaronder geneste ARRAY/STRUCT-tabellen, partitionering en clustering.
- Ervaring met het nauwkeurig verwerken van geldbedragen met NUMERIC-datatypen.
- Ervaring met het ontwerpen van append-only-tabellen en het gebruiken van views als datacontroles.
- Grondige kennis van datakwaliteitspraktijken, waaronder aansluitingscontroles, bestandsvalidatie en quarantaine.
- Ervaring met idempotente pipelines die veilig opnieuw kunnen worden uitgevoerd.
- Ervaring met het implementeren van dataherkomst en het beheren van referentiegegevens met geldigheidsdatums.
- Ervaring met facturatie, waaronder creditnota’s, herziene facturen, valutaconversie en maandafsluiting.
- Ervaring met finance- of facturatieteams in een gereguleerde of gecontroleerde omgeving.
- Ervaring met andere GCP-diensten, zoals Cloud Storage, Cloud Run of Firestore.
Voordelen
- Een concurrerende vergoeding op basis van ervaring.
- Wettelijk verplichte arbeidsvoorwaarden.
- Aanvullende HMO-dekking.
- Een samenwerkingsgerichte, professionele werkomgeving.
- Mogelijkheden voor loopbaangroei binnen een groeiende organisatie.
- Hybride of op afstand werken, waar van toepassing.
- Training ter ondersteuning van de ontwikkeling en loopbaanvooruitgang van medewerkers.