
Scicom Infrastructure Services adalah perusahaan konsultasi dan layanan teknologi yang membantu organisasi sektor publik dan swasta mengelola serta meningkatkan lingkungan TI mereka. Cakupan kerjanya meliputi manajemen kinerja perusahaan, arsitektur, manajemen proyek, manajemen infrastruktur dan aplikasi, serta layanan terkelola. Perusahaan ini juga bekerja dengan AppDynamics, BigPanda, Datadog, dan AWS dalam pemantauan kinerja, korelasi dan otomatisasi peristiwa, pemantauan cloud, serta manajemen layanan TI. Scicom menyediakan dukungan operasional sepanjang waktu untuk infrastruktur global. Profilnya menggambarkan tim yang bekerja di bidang teknologi perusahaan, SaaS, dan B2B; lihat lowongan terbaru untuk mengetahui peran dan proses perekrutan.
Insinyur Data Databricks, Kontrak Data OCDS
Menghubungkan pemangku kepentingan pengadaan dengan tim teknik untuk menetapkan kontrak data dalam program Databricks berskala besar. Membangun pipeline dan kontrol yang selaras dengan OCDS agar data kontrak andal dan terstandardisasi.
Deskripsi
- Menghubungkan tim bisnis, kontrak, tata kelola, dan rekayasa dalam implementasi Databricks berskala besar.
- Memimpin lokakarya persyaratan bersama pemangku kepentingan pengadaan, program, analitik, tata kelola, dan teknis.
- Membuat dan memelihara kontrak data yang menetapkan cara produsen dan konsumen bertukar data.
- Menerjemahkan kebutuhan bisnis menjadi cerita pengguna, kriteria penerimaan, alur proses, pemetaan, spesifikasi antarmuka, dan persyaratan rekayasa.
- Menganalisis sistem sumber, membuat profil data, menilai kesenjangan, dan memetakan bidang sumber ke struktur target.
- Membandingkan data pengadaan saat ini dengan struktur yang diwajibkan OCDS.
- Menyelaraskan pemilik data, produsen, konsumen, arsitek, dan tim tata kelola.
- Melacak persyaratan sepanjang pemodelan data, implementasi, pengujian, dan penerimaan.
- Menilai dampak perubahan yang diusulkan terhadap produk data, laporan, integrasi, dan kasus penggunaan analitik.
- Membantu menyiapkan dan menjalankan tinjauan backlog, perencanaan sprint, demo, pengujian, dan penerimaan pemangku kepentingan.
- Menerapkan OCDS pada data pengadaan dan kontrak publik sejak perencanaan hingga implementasi.
- Memelihara pemetaan untuk rilis, catatan, paket, pengenal, organisasi, pihak, item, tonggak, dokumen, transaksi, amendemen, dan elemen terkait OCDS.
- Menggunakan skema, daftar kode, aturan validasi, dan panduan implementasi OCDS.
- Mengidentifikasi kebutuhan ekstensi OCDS serta mencatat asumsi, aturan, pemetaan, pengecualian, dan ekstensi terkait.
- Menyusun catatan kontrak dari rilis transaksional dan menetapkan penanganan amendemen, pembaruan, pembatalan, koreksi, serta perubahan historis.
- Memeriksa data hasil transformasi terhadap skema JSON OCDS dan memperbaiki data pengadaan yang hilang, tidak valid, tidak konsisten, atau tidak sesuai.
- Memungkinkan publikasi, pertukaran, analisis, atau penggunaan internal data kontrak terstandardisasi.
- Membangun, menguji, dan memelihara pipeline Databricks dengan Apache Spark, PySpark, Python, dan SQL.
- Memasukkan dan mentransformasi data pengadaan terstruktur dan semi-terstruktur dari JSON, CSV, XML, Parquet, basis data, API, dan berkas.
- Membuat lapisan Bronze, Silver, dan Gold dengan arsitektur medali.
- Mengembangkan model data ternormalisasi, dimensional, analitik, dan berbasis OCDS.
- Menggunakan Delta Lake untuk menerapkan dan mengembangkan skema, mengelola versi, mendukung audit, dan memproses data secara andal.
- Membuat metode yang dapat digunakan ulang untuk mengubah data pengadaan sumber menjadi keluaran yang kompatibel dengan OCDS.
- Membangun pemasukan data secara batch maupun inkremental.
- Menggunakan alat Databricks yang sesuai, termasuk Workflows, notebook, job, Auto Loader, Delta Live Tables, atau Lakeflow.
- Membangun koneksi REST API untuk pemasukan data dari sumber dan pengiriman data ke sistem hilir.
- Mengotomatiskan pemeriksaan kualitas data, rekonsiliasi, kelengkapan, dan kesesuaian.
- Membantu menerapkan Unity Catalog untuk metadata, kepemilikan, silsilah data, kontrol akses, dan penemuan data.
- Meningkatkan job Spark, kueri SQL, klaster, pemartisian, ukuran berkas, dan tata letak data.
- Berkontribusi pada tinjauan kode, pengujian otomatis, CI/CD, deployment, pemantauan, dan dukungan produksi.
- Mendiagnosis kegagalan pipeline, ketidakcocokan data, dan masalah kinerja.
- Menetapkan aturan terukur untuk akurasi, kelengkapan, validitas, ketepatan waktu, konsistensi, dan keunikan data.
- Membuat kontrol validasi untuk bidang OCDS, pengenal, tanggal, jumlah, mata uang, organisasi, klasifikasi, dan hubungan kontrak.
- Membuat dasbor atau laporan tentang kepatuhan kontrak data dan hasil kualitas data.
- Menyiapkan cara untuk mendeteksi dan mengelola perubahan skema.
- Menelusuri silsilah data pengadaan melalui transformasi Databricks hingga produk hilir.
- Bekerja sama dengan tim tata kelola untuk menetapkan pemilik, pengelola, klasifikasi, retensi, dan kebijakan akses.
- Menangani data pengadaan dan pemasok yang sensitif sesuai persyaratan keamanan dan privasi.
- Memelihara jejak audit dengan aturan terdokumentasi, pemetaan berversi, hasil validasi, dan riwayat perubahan.
Persyaratan
- Gelar sarjana di bidang ilmu komputer, sistem informasi, analitik data, analisis bisnis, teknik, administrasi publik, manajemen rantai pasok, atau disiplin terkait.
- Pengalaman gabungan minimal lima tahun dalam rekayasa data, analisis data, analisis bisnis, atau integrasi data.
- Pengalaman praktis menerapkan atau menggunakan Open Contracting Data Standard (OCDS).
- Pengalaman membuat, mendokumentasikan, menegosiasikan, atau memelihara kontrak data.
- Pengalaman memetakan data pengadaan atau kontrak ke skema OCDS.
- Penguasaan kuat atas rilis, catatan, skema, daftar kode, pengenal, tahapan kontrak, dan metode validasi OCDS.
- Pengalaman langsung menggunakan Databricks minimal tiga tahun.
- Kemampuan kuat dalam Apache Spark, PySpark, Python, SQL, Delta Lake, pipeline ETL/ELT, pemodelan data, JSON dan JSON Schema, REST API, validasi kualitas data, serta pemetaan sumber ke target.
- Pengalaman menggali persyaratan dan menerjemahkannya menjadi spesifikasi rekayasa yang dapat ditindaklanjuti.
- Komunikasi yang jelas dengan mitra teknis maupun nonteknis.
- Pengalaman menyiapkan cerita pengguna, kriteria penerimaan, aturan bisnis, kamus data, spesifikasi antarmuka, dan dokumentasi proses.
- Kemampuan analisis, pemecahan masalah, fasilitasi, dan dokumentasi yang kuat.
- Pengalaman menyelesaikan pekerjaan dalam tim Agile.
- Diutamakan: latar belakang di bidang pengadaan pemerintah, kontrak sektor publik, hibah, akuisisi, pemasok, atau data keuangan.
- Diutamakan: pengalaman membuat ekstensi OCDS atau menyesuaikan OCDS dengan kebutuhan organisasi.
- Diutamakan: pemahaman tentang klasifikasi pengadaan, pengenal organisasi, tender, pemberian kontrak, amendemen, tonggak, transaksi, dan pelaksanaan kontrak.
- Diutamakan: sertifikasi Databricks Certified Data Engineer Associate atau Professional.
- Diutamakan: pengalaman dengan Unity Catalog, Delta Live Tables, Lakeflow, Databricks Workflows, Structured Streaming, layanan cloud, Azure Data Factory, ADLS Gen2, AWS Glue, Amazon S3, Snowflake, dbt, Kafka, Airflow, Power BI, validator JSON Schema, kerangka kerja kualitas data otomatis, metadata atau manajemen data induk, silsilah data, tata kelola data referensi, CI/CD, Git, Azure DevOps, GitHub Actions, Jenkins, atau Terraform.
- Diutamakan: pengalaman berkontribusi pada program data besar tingkat federal, negara bagian, pemerintah daerah, atau perusahaan yang diatur.
- Diutamakan: pemahaman tentang persyaratan akuisisi federal, pengadaan, pelaporan, transparansi, atau data terbuka.
- Mampu berkontribusi dalam diskusi rekayasa maupun analisis bisnis.
- Memahami dengan baik kontrak data dan akuntabilitas produsen-konsumen.
- Mampu mengubah proses pengadaan yang kompleks menjadi struktur data dan aturan transformasi yang jelas.
- Cermat dalam menafsirkan skema, daftar kode, definisi bisnis, dan persyaratan validasi.
- Kuat dalam fasilitasi pemangku kepentingan dan penyelesaian konflik.
- Mampu menemukan kesenjangan dan ambiguitas sebelum menimbulkan cacat rekayasa.
- Berkomitmen pada dokumentasi, keterlacakan, tata kelola, dan kualitas data.
- Mampu bekerja efektif dalam tim Databricks besar yang terdiri dari berbagai disiplin.
Tunjangan
- Lowongan ini tidak merinci tunjangan, fasilitas, atau kompensasi tambahan.
Lowongan Terkait
Lowongan tidak ditemukan
Coba sesuaikan atau hapus filter untuk menemukan lebih banyak peluang.