
A Scicom Infrastructure Services technológiai tanácsadással és szolgáltatásokkal foglalkozó vállalat, amely a köz- és a magánszektor szervezeteinek segít informatikai környezetük kezelésében és fejlesztésében. Tevékenysége kiterjed a vállalati teljesítménymenedzsmentre, az architektúrára, a projektmenedzsmentre, az infrastruktúra- és alkalmazáskezelésre, valamint a menedzselt szolgáltatásokra. A vállalat az AppDynamics, a BigPanda, a Datadog és az AWS megoldásaival is dolgozik a teljesítményfigyelés, az események korrelációja és automatizálása, a felhőfigyelés, valamint az informatikai szolgáltatásmenedzsment területén. A Scicom éjjel-nappali operatív támogatást nyújt globális infrastruktúrákhoz. A vállalati profil szerint csapata nagyvállalati, SaaS- és B2B-technológiákon dolgozik; a pozíciók és a felvételi folyamat részleteiért tekintse meg az aktuális állásajánlatokat.
Databricks adatmérnök, OCDS-adatszerződések
Kapcsolja össze a beszerzési érintetteket a mérnöki csapatokkal, hogy egy nagyszabású Databricks-programban meghatározzák az adatszerződéseket. Építsen OCDS-hez igazodó adatfolyamokat és ellenőrzéseket a megbízható, szabványosított szerződéses adatokért.
Leírás
- Hangolja össze az üzleti, szerződéskötési, irányítási és mérnöki csapatokat egy nagyszabású Databricks-bevezetésben.
- Vezessen követelményfeltáró műhelymunkákat a beszerzési, program-, analitikai, irányítási és műszaki érintettekkel.
- Hozzon létre és tartson karban olyan adatszerződéseket, amelyek meghatározzák az adat-előállítók és -felhasználók közötti adatcserét.
- Alakítsa az üzleti igényeket felhasználói történetekké, elfogadási kritériumokká, folyamatábrákká, leképezésekké, interfészspecifikációkká és mérnöki követelményekké.
- Elemezze a forrásrendszereket, mérje fel az adatok jellemzőit, értékelje a hiányosságokat, és képezze le a forrásmezőket a célstruktúrákra.
- Hasonlítsa össze a jelenlegi beszerzési adatokat az OCDS által megkövetelt struktúrákkal.
- Jusson megállapodásra az adattulajdonosokkal, adat-előállítókkal, adatfelhasználókkal, architektekkel és irányítási csapatokkal.
- Kövesse a követelményeket az adatmodellezésen, megvalósításon, tesztelésen és elfogadáson keresztül.
- Értékelje, hogy a javasolt változtatások miként érintik az adattermékeket, jelentéseket, integrációkat és analitikai felhasználási eseteket.
- Segítsen előkészíteni és lebonyolítani a backlog-áttekintéseket, sprinttervezést, bemutatókat, tesztelést és az érintettek általi elfogadást.
- Alkalmazza az OCDS-t a beszerzési és közbeszerzési adatokra a tervezéstől a megvalósításig.
- Tartsa karban az OCDS-kiadásokhoz, rekordokhoz, csomagokhoz, azonosítókhoz, szervezetekhez, felekhez, tételekhez, mérföldkövekhez, dokumentumokhoz, tranzakciókhoz, módosításokhoz és kapcsolódó elemekhez tartozó leképezéseket.
- Használja az OCDS-sémákat, kódtárakat, érvényesítési szabályokat és megvalósítási útmutatókat.
- Azonosítsa, mikor van szükség OCDS-bővítményekre, és rögzítse a kapcsolódó feltételezéseket, szabályokat, leképezéseket, kivételeket és bővítményeket.
- Építsen szerződéses rekordokat a tranzakciós kiadásokból, és határozza meg a módosítások, frissítések, törlések, javítások és korábbi változások kezelését.
- Ellenőrizze az átalakított adatokat az OCDS JSON-sémák szerint, és javítsa a hiányzó, érvénytelen, inkonzisztens vagy nem megfelelő beszerzési adatokat.
- Tegye lehetővé a szabványosított szerződéses adatok közzétételét, cseréjét, elemzését vagy belső felhasználását.
- Építsen, teszteljen és tartson karban Databricks-adatfolyamokat Apache Spark, PySpark, Python és SQL használatával.
- Töltsön be és alakítson át JSON-, CSV-, XML- és Parquet-fájlokból, adatbázisokból, API-kból és fájlokból származó strukturált és félig strukturált beszerzési adatokat.
- Hozzon létre Bronze, Silver és Gold rétegeket a medallion architektúrával.
- Fejlesszen normalizált, dimenzionális, analitikai és OCDS-alapú adatmodelleket.
- Használja a Delta Lake-et a sémák érvényesítésére és továbbfejlesztésére, a verziók kezelésére, az auditok támogatására és a megbízható adatfeldolgozásra.
- Hozzon létre újrafelhasználható módszereket a forrásadatok OCDS-kompatibilis kimenetekké alakításához.
- Építsen kötegelt és növekményes adatbetöltést is.
- Használjon megfelelő Databricks-eszközöket, például Workflows-t, jegyzetfüzeteket, feladatokat, Auto Loadert, Delta Live Tables-t vagy Lakeflow-t.
- Hozzon létre REST API-kapcsolatokat a forrásadatok betöltéséhez és a további rendszerek felé történő adattovábbításhoz.
- Automatizálja az adatminőségi, egyeztetési, teljességi és megfelelőségi ellenőrzéseket.
- Segítse a Unity Catalog bevezetését a metaadatok, tulajdonosi információk, adatszármazás, hozzáférés-vezérlés és adatfelderítés kezelésére.
- Javítsa a Spark-feladatokat, SQL-lekérdezéseket, klasztereket, particionálást, fájlméreteket és adatelrendezéseket.
- Vegyen részt kódellenőrzésekben, automatizált tesztekben, CI/CD-folyamatokban, telepítésekben, monitorozásban és éles környezet támogatásában.
- Diagnosztizálja az adatfolyamok hibáit, az adatok közötti eltéréseket és a teljesítményproblémákat.
- Állítson fel mérhető szabályokat az adatok pontosságára, teljességére, érvényességére, időszerűségére, konzisztenciájára és egyediségére.
- Hozzon létre érvényesítési ellenőrzéseket az OCDS-mezőkhöz, azonosítókhoz, dátumokhoz, összegekhez, pénznemekhez, szervezetekhez, besorolásokhoz és szerződéses kapcsolatokhoz.
- Készítsen irányítópultokat vagy jelentéseket az adatszerződéseknek való megfelelésről és az adatminőségi eredményekről.
- Alakítson ki módszereket a sémaváltozások felismerésére és kezelésére.
- Kövesse nyomon a beszerzési adatok útját a Databricks-átalakításokon keresztül a további adattermékekig.
- Dolgozzon együtt az irányítási csapatokkal a tulajdonosok, adatgazdák, besorolások, megőrzési idők és hozzáférési szabályzatok meghatározásán.
- A biztonsági és adatvédelmi követelményeknek megfelelően kezelje az érzékeny beszerzési és beszállítói adatokat.
- Tartson fenn auditnyomokat dokumentált szabályokkal, verziózott leképezésekkel, érvényesítési eredményekkel és változástörténetekkel.
Követelmények
- Alapképzés informatikai, információs rendszerek, adatelemzés, üzleti elemzés, mérnöki, közigazgatási, ellátásilánc-menedzsment vagy kapcsolódó területen.
- Legalább öt év együttes tapasztalat adatmérnöki, adatelemzési, üzleti elemzési vagy adatintegrációs munkakörben.
- Gyakorlati tapasztalat az Open Contracting Data Standard (OCDS) bevezetésében vagy használatában.
- Tapasztalat adatszerződések létrehozásában, dokumentálásában, egyeztetésében vagy karbantartásában.
- Beszerzési vagy szerződéses adatok OCDS-sémákra történő leképezésében szerzett tapasztalat.
- Az OCDS-kiadások, rekordok, sémák, kódtárak, azonosítók, szerződéses szakaszok és érvényesítési módszerek alapos ismerete.
- Legalább három év gyakorlati Databricks-tapasztalat.
- Magas szintű ismeretek Apache Spark, PySpark, Python, SQL, Delta Lake, ETL/ELT-adatfolyamok, adatmodellezés, JSON és JSON Schema, REST API-k, adatminőség-ellenőrzés és forrás-cél leképezés terén.
- Tapasztalat követelmények feltárásában és végrehajtható mérnöki specifikációkká alakításában.
- Érthető kommunikáció műszaki és nem műszaki partnerekkel.
- Tapasztalat felhasználói történetek, elfogadási kritériumok, üzleti szabályok, adatszótárak, interfészspecifikációk és folyamatdokumentáció készítésében.
- Erős elemzési, hibaelhárítási, facilitálási és dokumentációs készségek.
- Tapasztalat agilis csapatokban végzett munkában.
- Előnyt jelent a kormányzati beszerzés, közszektorbeli szerződéskötés, támogatások, beszerzés, beszállítói vagy pénzügyi adatok terén szerzett háttér.
- Előnyt jelent OCDS-bővítmények készítésében vagy az OCDS szervezeti igényekhez igazításában szerzett tapasztalat.
- Előnyt jelent a beszerzési besorolások, szervezeti azonosítók, tenderek, odaítélések, módosítások, mérföldkövek, tranzakciók és szerződés-végrehajtás ismerete.
- Előnyt jelent Databricks Certified Data Engineer Associate vagy Professional képesítés.
- Előnyt jelent az Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, felhőszolgáltatások, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, JSON Schema-validátorok, automatizált adatminőségi keretrendszerek, metaadat- vagy törzsadat-kezelés, adatszármazás, referenciaadat-irányítás, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins vagy Terraform terén szerzett tapasztalat.
- Előnyt jelent nagyszabású szövetségi, állami, helyi önkormányzati vagy szabályozott vállalati adatprogramokban szerzett tapasztalat.
- Előnyt jelent a szövetségi beszerzési, közbeszerzési, jelentéstételi, átláthatósági vagy nyíltadat-követelmények ismerete.
- Képesség mérnöki és üzleti elemzési megbeszélésekhez egyaránt hozzájárulni.
- Az adatszerződések és az adat-előállítók, illetve -felhasználók elszámoltathatóságának alapos ismerete.
- Képesség összetett beszerzési folyamatokat világos adatstruktúrákká és átalakítási szabályokká alakítani.
- A sémák, kódtárak, üzleti definíciók és érvényesítési követelmények körültekintő értelmezése.
- Erős érintetti facilitálási és konfliktuskezelési készségek.
- Képesség a hiányosságok és kétértelműségek feltárására, mielőtt mérnöki hibákat okoznának.
- Elkötelezettség a dokumentáció, nyomon követhetőség, irányítás és adatminőség iránt.
- Képesség eredményesen dolgozni egy nagy, több szakterületet összefogó Databricks-csapatban.
Juttatások
- Az álláshirdetés nem részletez juttatásokat, egyéb előnyöket vagy kiegészítő díjazást.
Kapcsolódó állások
Nem találhatók állások
Módosítsd vagy töröld a szűrőket, hogy további lehetőségeket találj.