A Beyond Soluções technológiai tanácsadó vállalat, amely agilis szállítási csapatokkal, műszaki tanácsadással és szoftveralapú szolgáltatásokkal támogatja a pénzügyi piacot. A 2017-ben alapított cég a specializált csapatokat technológiai tanácsadással és tehetségmegoldásokkal ötvözi, beleértve a Huntingot és az Outsourcing 2.0-t. Digitális onboardingterméke mesterséges intelligenciát használ annak érdekében, hogy a pénzügyi szolgáltatók gyorsabban és biztonságosabban regisztrálhassák ügyfeleiket, miközben támogatja a működési hatékonyságot, a megfelelést és a piacra lépés felgyorsítását.
Senior adatmérnök — Távoli munkavégzés Brazíliában
Senior távoli adatmérnöki pozíció, amely adatfolyamok és lakehouse-architektúra kiépítésével támogatja a Monte Bravót. Python, PySpark, AWS és dbt használatával dolgozhat egy innovatív pénzügyi platform fejlesztésén.
Leírás
- Python-alkalmazások és éles használatra kész adatfolyamok fejlesztése
- Nagy mennyiségű adathalmazok feldolgozása elosztott környezetekben PySparkkal
- Adatátalakítások létrehozása, kezelése és irányítása dbt használatával
- Adat-munkafolyamatok összehangolása Airflow segítségével
- A GitHub használata verziókezeléshez, pull requestekhez, kódellenőrzésekhez és CI/CD-integrációhoz
- Együttműködés olyan AWS-szolgáltatásokkal, mint a Lambda, a CloudWatch, az S3, a Redshift és az Aurora
- Az Apache Iceberg bevezetése és használata
- A Data Lakehouse és a Medallion Architecture mintáinak alkalmazása
- ETL- és ELT-folyamatok végrehajtása
- Közreműködés egy innovatív pénzügyi platform alapoktól való felépítésében technikai örökség nélkül
Követelmények
- Bizonyított Python-tapasztalat nagy teljesítményű, karbantartható alkalmazások és adatfolyamok fejlesztésében
- PySpark használatában szerzett tapasztalat nagy, elosztott adathalmazok feldolgozásához
- Haladó szintű SQL-ismeretek
- Tapasztalat adatátalakítások létrehozásában és irányításában dbt használatával
- Az Airflow munkafolyamat-koordinációban való használatának gyakorlati ismerete
- Átfogó GitHub-tapasztalat, beleértve a verziókezelést, a pull requesteket, a kódellenőrzéseket és a CI/CD-integrációt
- AWS-szolgáltatások ismerete, különösen a Lambda, a CloudWatch, az S3, a Redshift és az Aurora terén
- Apache Iceberg-tapasztalat
- A Data Lakehouse és a Medallion Architecture ismerete
- ETL- és ELT-munkafolyamatokban szerzett tapasztalat
- A Databricks-tapasztalat előnyt jelent
- A Kafka ismerete előnyt jelent, különösen producerfejlesztés és eseményvezérelt üzenetküldés terén
Juttatások
- Szakmai fejlődési lehetőségek a teljes folyamat során
- Támogató és egészséges munkakörnyezet
- Gyakorlati projektek, amelyek jelentős valós hatással járnak
- Az innovációt, a technikai felelősségvállalást és az önállóságot ösztönző kultúra
- Lehetőség egy platform alapoktól való felépítésére technikai örökség nélkül
- Hozzáférés vezető eszközökhöz, bevált módszerekhez és innovatív megközelítésekhez