Sigma Software Group
Sigma Software Group
1.001 – 5.000 Karyawan
KonsultasiLayanan kesehatanOtomotif
Sigma Software Group adalah perusahaan konsultan teknologi multinasional yang didirikan pada tahun 2002. Timnya menyediakan layanan pengembangan perangkat lunak, desain grafis, pengujian, dan dukungan teknis bagi klien di berbagai sektor, termasuk otomotif, layanan kesehatan, telekomunikasi, penerbangan, perbankan, gim, real estat, dan periklanan. Perusahaan ini merekrut spesialis TI untuk mengerjakan proyek rekayasa yang kompleks serta mendukung pengembangan profesional melalui pendampingan dan pembelajaran berkelanjutan. Kesempatan kerja jarak jauh merupakan bagian dari model kerjanya, dengan proyek yang melayani organisasi seperti AstraZeneca, Scania, dan SAS.

Senior Data Engineer, Migrasi Databricks

Migrasikan platform analitik ritel berskala besar dari BigQuery ke Databricks. Bangun arsitektur Lakehouse, pipeline Spark, dan solusi data terkelola di Sigma Software Group.

Deskripsi

  • Bantu memigrasikan platform analitik berskala besar dari BigQuery ke Databricks.
  • Rancang dan bangun arsitektur Lakehouse yang skalabel dengan Databricks dan Delta Lake.
  • Evaluasi beban kerja ETL dan ELT yang ada, lalu susun rencana migrasi.
  • Kembangkan dan optimalkan pipeline untuk data ritel dan analitik dalam volume besar.
  • Buat strategi pemrosesan inkremental dan kerangka transformasi yang skalabel.
  • Bangun dan pelihara solusi pemrosesan data Spark dengan PySpark.
  • Rancang dan pelihara lapisan Bronze, Silver, dan Gold dalam arsitektur medallion.
  • Terapkan praktik tata kelola dan keamanan data dengan Unity Catalog.
  • Berkolaborasi dengan tim Data Science, Analytics, Product, dan Customer Engineering.
  • Berkontribusi dalam diskusi arsitektur dan perancangan solusi teknis.
  • Buat komponen platform data yang dapat digunakan kembali serta standar rekayasa.
  • Tinjau kode dan tingkatkan keandalan serta kemudahan pemeliharaan platform.
  • Diagnosis dan optimalkan beban kerja SQL dan Spark yang kompleks.
  • Dukung rilis produksi dan modernisasi platform.

Persyaratan

  • Memiliki pengalaman profesional di bidang rekayasa data minimal lima tahun.
  • Menguasai Python dan mahir menggunakan SQL.
  • Memiliki pengalaman langsung menggunakan Databricks secara komersial.
  • Memahami Apache Spark dengan baik, khususnya PySpark.
  • Berpengalaman merancang dan membangun platform data cloud modern.
  • Berpengalaman mengembangkan pipeline ETL atau ELT dan solusi pemrosesan data berskala besar.
  • Memiliki pengalaman langsung menggunakan Delta Lake.
  • Berpengalaman dengan Spark Declarative Pipelines.
  • Berpengalaman memantau klaster, menganalisis metrik, dan mengoptimalkan kinerja.
  • Memahami arsitektur pemrosesan data terdistribusi dengan baik.
  • Menguasai pergudangan data dan pemodelan dimensional.
  • Berpengalaman menggunakan Airflow atau alat orkestrasi serupa.
  • Berpengalaman mengoptimalkan beban kerja SQL analitik yang kompleks.
  • Berpengalaman menerapkan praktik CI/CD untuk platform rekayasa data.
  • Memiliki kemampuan pemecahan masalah dan optimasi kinerja yang kuat.
  • Mampu berkolaborasi dengan tim lintas fungsi dalam lingkungan internasional.
  • Menguasai bahasa Inggris tingkat menengah atas atau lebih tinggi.

Tunjangan

  • Kesempatan belajar secara berkelanjutan.
  • Kesempatan mengembangkan keahlian teknologi.
  • Pekerjaan rekayasa yang memberi dampak bermakna.
  • Kesempatan mengerjakan proyek internasional yang kompleks.

Lowongan Terkait