Sigma Software Group is een multinationaal technologieadviesbedrijf dat in 2002 werd opgericht. De teams bieden softwareontwikkeling, grafisch ontwerp, testen en technische ondersteuning aan klanten in sectoren zoals de auto-industrie, gezondheidszorg, telecommunicatie, luchtvaart, bankwezen, gaming, vastgoed en reclame. Het bedrijf werft IT-specialisten voor complexe engineeringprojecten en ondersteunt hun professionele ontwikkeling met mentorschap en voortdurend leren. Mogelijkheden voor werken op afstand maken deel uit van het werkmodel, met projecten voor organisaties zoals AstraZeneca, Scania en SAS.
Data Engineer (Azure, Spark) – op afstand in Oekraïne
Bouw schaalbare Azure-dataplatforms en datapijplijnen voor analyses, rapportages en datagedreven beslissingen. Ontwikkel Spark-workflows en betrouwbare gegevensverwerking in samenwerking met meerdere teams.
Beschrijving
- Bouw schaalbare, betrouwbare dataplatforms en datapijplijnen voor analytische en operationele behoeften.
- Creëer workflows voor gegevensverwerking met gedistribueerde frameworks zoals Apache Spark en PySpark op Databricks.
- Help het clouddataplatform verder te ontwikkelen met Azure-services, waaronder Data Factory, Synapse, Microsoft Fabric, Databricks, Event Hub en Azure Data Lake Storage.
- Integreer en verwerk interne en externe gegevens en bewaak daarbij de consistentie, kwaliteit en betrouwbaarheid.
- Draag verantwoordelijkheid voor de betrouwbaarheid, monitoring en prestaties van datapijplijnen.
- Werk samen met analisten, data scientists en engineers om zakelijke en analytische behoeften om te zetten in robuuste dataoplossingen.
- Verbeter de data-engineeringpraktijken, waaronder standaarden voor datapijplijnen, tests en operationele betrouwbaarheid.
- Beoordeel tools en technologieën voor de data-engineeringomgeving en help deze introduceren.
Vereisten
- Heb minimaal vier jaar praktijkervaring in data engineering of met het bouwen van platforms voor gegevensverwerking.
- Beheers SQL goed en heb ruime Python-ervaring met het ontwikkelen en onderhouden van datapijplijnen.
- Heb ervaring met frameworks voor gedistribueerde verwerking, zoals Apache Spark of PySpark; ervaring met Databricks is een groot voordeel.
- Heb praktische ervaring met het ontwerpen en implementeren van datapijplijnen in de cloud, bij voorkeur op Azure.
- Heb datapijplijnen en datamodellen ontworpen voor analytische systemen op productieschaal.
- Begrijp ETL/ELT-ontwerp, dimensionale modellering en principes van datawarehousing.
- Heb ervaring met moderne data lake-architecturen en formaten zoals Parquet en JSON.
- Heb workfloworkestratietools zoals Airflow gebruikt.
- Heb ervaring met databaseontwikkeling en prestatieoptimalisatie.
- Kunt schaalbare, onderhoudbare dataoplossingen ontwerpen met minimale begeleiding.
- Communiceer en werk effectief samen.
- Beheers het Engels op professioneel werkniveau.
- Heb ervaring met clouddatawarehouses zoals Snowflake, BigQuery of Redshift.
- Heb ervaring met streamingtechnologieën zoals Event Hub, Kafka of Spark Streaming.
- Heb ervaring met Delta Lake of andere lakehouse-technologieën.
- Ben vertrouwd met CI/CD-praktijken en Git-gebaseerde ontwikkelworkflows.
- Heb ervaring in agile ontwikkelomgevingen.
Voordelen
- Werk op afstand.