Scicom Infrastructure Services
Scicom Infrastructure Services
Scicom Infrastructure Services ialah syarikat perundingan dan perkhidmatan teknologi yang membantu organisasi sektor awam dan swasta mengurus serta menambah baik persekitaran IT mereka. Skop kerjanya merangkumi pengurusan prestasi perusahaan, seni bina, pengurusan projek, pengurusan infrastruktur dan aplikasi, serta perkhidmatan terurus. Syarikat ini juga bekerjasama dengan AppDynamics, BigPanda, Datadog dan AWS dalam pemantauan prestasi, korelasi dan automasi peristiwa, pemantauan awan serta pengurusan perkhidmatan IT. Scicom menyediakan sokongan operasi sepanjang masa untuk infrastruktur global. Profilnya menggambarkan pasukan yang bekerja dalam teknologi perusahaan, SaaS dan B2B; semak kekosongan semasa untuk mendapatkan maklumat tentang peranan dan pengambilan pekerja.

Jurutera Data Databricks, Kontrak Data OCDS

Menghubungkan pihak berkepentingan perolehan dengan pasukan kejuruteraan untuk menetapkan kontrak data bagi program Databricks berskala besar. Membina saluran paip dan kawalan sejajar OCDS bagi menghasilkan data kontrak yang boleh dipercayai dan seragam.

Penerangan

  • Menghubungkan pasukan perniagaan, kontrak, tadbir urus dan kejuruteraan dalam pelaksanaan Databricks berskala besar.
  • Menerajui bengkel keperluan bersama pihak berkepentingan perolehan, program, analitik, tadbir urus dan teknikal.
  • Mewujudkan dan menyelenggara kontrak data yang mentakrifkan cara pengeluar dan pengguna bertukar data.
  • Menterjemahkan keperluan perniagaan kepada cerita pengguna, kriteria penerimaan, aliran proses, pemetaan, spesifikasi antara muka dan keperluan kejuruteraan.
  • Menganalisis sistem sumber, memprofilkan data, menilai jurang dan memetakan medan sumber kepada struktur sasaran.
  • Membandingkan data perolehan semasa dengan struktur yang diperlukan oleh OCDS.
  • Menyelaraskan pemilik data, pengeluar, pengguna, arkitek dan pasukan tadbir urus.
  • Menjejak keperluan sepanjang pemodelan data, pelaksanaan, pengujian dan penerimaan.
  • Menilai kesan perubahan yang dicadangkan terhadap produk data, laporan, integrasi dan kes penggunaan analitik.
  • Membantu menyediakan dan menjalankan semakan backlog, perancangan sprint, demo, pengujian dan penerimaan pihak berkepentingan.
  • Menggunakan OCDS pada data perolehan dan kontrak awam dari perancangan hingga pelaksanaan.
  • Menyelenggara pemetaan bagi keluaran, rekod, pakej, pengecam, organisasi, pihak, item, pencapaian, dokumen, transaksi, pindaan dan elemen OCDS berkaitan.
  • Menggunakan skema, senarai kod, peraturan pengesahan dan panduan pelaksanaan OCDS.
  • Mengenal pasti keperluan sambungan OCDS serta merekodkan andaian, peraturan, pemetaan, pengecualian dan sambungan berkaitan.
  • Membina rekod kontrak daripada keluaran transaksi dan menetapkan cara pindaan, kemas kini, pembatalan, pembetulan dan perubahan sejarah dikendalikan.
  • Menyemak data yang ditransformasikan terhadap skema JSON OCDS dan membetulkan data perolehan yang hilang, tidak sah, tidak konsisten atau tidak mematuhi piawaian.
  • Membolehkan penerbitan, pertukaran, analisis atau penggunaan dalaman data kontrak yang seragam.
  • Membina, menguji dan menyelenggara saluran paip Databricks dengan Apache Spark, PySpark, Python dan SQL.
  • Memasukkan dan mentransformasikan data perolehan berstruktur dan separa berstruktur daripada JSON, CSV, XML, Parquet, pangkalan data, API dan fail.
  • Mewujudkan lapisan Bronze, Silver dan Gold dengan seni bina medallion.
  • Membangunkan model data ternormal, dimensi, analitik dan berasaskan OCDS.
  • Menggunakan Delta Lake untuk menguatkuasakan dan mengembangkan skema, mengurus versi, menyokong audit dan memproses data dengan andal.
  • Mewujudkan kaedah boleh guna semula untuk menukar data perolehan sumber kepada output yang serasi dengan OCDS.
  • Membina pengingesan data secara kelompok dan berperingkat.
  • Menggunakan alat Databricks yang sesuai, termasuk Workflows, buku nota, kerja, Auto Loader, Delta Live Tables atau Lakeflow.
  • Membina sambungan REST API untuk pengingesan sumber dan penghantaran data hiliran.
  • Mengautomasikan pemeriksaan kualiti data, penyelarasan, kelengkapan dan pematuhan.
  • Membantu melaksanakan Unity Catalog untuk metadata, pemilikan, salasilah, kawalan akses dan penemuan data.
  • Meningkatkan kerja Spark, pertanyaan SQL, kluster, pembahagian, saiz fail dan susun atur data.
  • Menyumbang kepada semakan kod, ujian automatik, CI/CD, penggunaan, pemantauan dan sokongan produksi.
  • Mendiagnosis kegagalan saluran paip, ketidakpadanan data dan masalah prestasi.
  • Menetapkan peraturan terukur untuk ketepatan, kelengkapan, kesahan, ketepatan masa, konsistensi dan keunikan data.
  • Mewujudkan kawalan pengesahan untuk medan OCDS, pengecam, tarikh, amaun, mata wang, organisasi, klasifikasi dan hubungan kontrak.
  • Membina papan pemuka atau laporan tentang pematuhan kontrak data dan hasil kualiti data.
  • Menyediakan kaedah untuk mengesan dan mengurus perubahan skema.
  • Menjejak salasilah data perolehan melalui transformasi Databricks hingga produk hiliran.
  • Bekerjasama dengan pasukan tadbir urus untuk menentukan pemilik, penjaga, klasifikasi, pengekalan dan dasar akses.
  • Mengendalikan data perolehan dan pembekal yang sensitif mengikut keperluan keselamatan dan privasi.
  • Menyelenggara jejak audit dengan peraturan terdokumen, pemetaan berversi, hasil pengesahan dan sejarah perubahan.

Keperluan

  • Ijazah sarjana muda dalam sains komputer, sistem maklumat, analitik data, analisis perniagaan, kejuruteraan, pentadbiran awam, pengurusan rantaian bekalan atau bidang berkaitan.
  • Sekurang-kurangnya lima tahun pengalaman gabungan dalam kejuruteraan data, analisis data, analisis perniagaan atau integrasi data.
  • Pengalaman praktikal melaksanakan atau menggunakan Open Contracting Data Standard (OCDS).
  • Pengalaman mewujudkan, mendokumenkan, merundingkan atau menyelenggara kontrak data.
  • Pengalaman memetakan data perolehan atau kontrak kepada skema OCDS.
  • Penguasaan kukuh terhadap keluaran, rekod, skema, senarai kod, pengecam, peringkat kontrak dan kaedah pengesahan OCDS.
  • Sekurang-kurangnya tiga tahun pengalaman langsung menggunakan Databricks.
  • Kemahiran kukuh dalam Apache Spark, PySpark, Python, SQL, Delta Lake, saluran paip ETL/ELT, pemodelan data, JSON dan JSON Schema, REST API, pengesahan kualiti data serta pemetaan sumber kepada sasaran.
  • Pengalaman mendapatkan keperluan dan menterjemahkannya kepada spesifikasi kejuruteraan yang boleh dilaksanakan.
  • Komunikasi yang jelas dengan rakan teknikal dan bukan teknikal.
  • Pengalaman menyediakan cerita pengguna, kriteria penerimaan, peraturan perniagaan, kamus data, spesifikasi antara muka dan dokumentasi proses.
  • Kemahiran analisis, penyelesaian masalah, pemudahcaraan dan dokumentasi yang kukuh.
  • Pengalaman menyampaikan kerja dalam pasukan Agile.
  • Diutamakan: latar belakang dalam perolehan kerajaan, kontrak sektor awam, geran, pemerolehan, pembekal atau data kewangan.
  • Diutamakan: pengalaman membina sambungan OCDS atau menyesuaikan OCDS dengan keperluan organisasi.
  • Diutamakan: pengetahuan tentang klasifikasi perolehan, pengecam organisasi, tender, anugerah, pindaan, pencapaian, transaksi dan pelaksanaan kontrak.
  • Diutamakan: kelayakan Databricks Certified Data Engineer Associate atau Professional.
  • Diutamakan: pengalaman dengan Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, perkhidmatan awan, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, pengesah JSON Schema, rangka kerja kualiti data automatik, metadata atau pengurusan data induk, salasilah, tadbir urus data rujukan, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins atau Terraform.
  • Diutamakan: pengalaman menyumbang kepada program data besar persekutuan, negeri, kerajaan tempatan atau perusahaan terkawal.
  • Diutamakan: pengetahuan tentang keperluan pemerolehan persekutuan, perolehan, pelaporan, ketelusan atau data terbuka.
  • Mampu menyumbang dalam perbincangan kejuruteraan dan analisis perniagaan.
  • Pemahaman kukuh tentang kontrak data dan akauntabiliti pengeluar-pengguna.
  • Mampu menukar proses perolehan yang kompleks menjadi struktur data dan peraturan transformasi yang jelas.
  • Teliti ketika mentafsir skema, senarai kod, takrif perniagaan dan keperluan pengesahan.
  • Kemahiran kukuh dalam pemudahcaraan pihak berkepentingan dan penyelesaian konflik.
  • Mampu mengenal pasti jurang dan kekaburan sebelum menyebabkan kecacatan kejuruteraan.
  • Komited terhadap dokumentasi, kebolehkesanan, tadbir urus dan kualiti data.
  • Mampu bekerja dengan berkesan dalam pasukan Databricks besar yang merangkumi pelbagai disiplin.

Faedah

  • Iklan ini tidak menyatakan faedah, kemudahan atau pampasan tambahan.

Pekerjaan Berkaitan

Tiada pekerjaan ditemui

Cuba laraskan atau kosongkan penapis untuk mencari lebih banyak peluang.