LogoFresh Jobs Ahead
Sigma Software Group
Sigma Software Group
1.001 – 5.000 Karyawan
KonsultasiLayanan kesehatanOtomotif
Sigma Software Group adalah perusahaan konsultan teknologi multinasional yang didirikan pada tahun 2002. Timnya menyediakan layanan pengembangan perangkat lunak, desain grafis, pengujian, dan dukungan teknis bagi klien di berbagai sektor, termasuk otomotif, layanan kesehatan, telekomunikasi, penerbangan, perbankan, gim, real estat, dan periklanan. Perusahaan ini merekrut spesialis TI untuk mengerjakan proyek rekayasa yang kompleks serta mendukung pengembangan profesional melalui pendampingan dan pembelajaran berkelanjutan. Kesempatan kerja jarak jauh merupakan bagian dari model kerjanya, dengan proyek yang melayani organisasi seperti AstraZeneca, Scania, dan SAS.
LinkedIn
Lowongan Perusahaan

Senior Data Engineer, Migrasi Databricks

Migrasikan analitik ritel perusahaan dari BigQuery ke Databricks Lakehouse, dengan membangun pipeline PySpark yang skalabel, arsitektur medali, dan platform data cloud yang terkelola.

RORumaniaJarak jauhPenuh waktuSeniorBahasa Wajib: InggrisInsinyur data
AirflowApacheBigQueryCloudETLPySparkPythonSparkSQLUnity

Deskripsi

  • Bantu memigrasikan platform analitik berskala besar dari BigQuery ke Databricks.
  • Rancang dan bangun arsitektur Lakehouse yang skalabel dengan Databricks dan Delta Lake.
  • Evaluasi beban kerja ETL dan ELT yang ada, lalu tentukan pendekatan migrasi.
  • Bangun dan optimalkan pipeline untuk data ritel dan analitik dalam volume besar.
  • Terapkan strategi pemrosesan inkremental dan kerangka transformasi yang skalabel.
  • Kembangkan dan pelihara solusi pemrosesan data Spark menggunakan PySpark.
  • Rancang dan pelihara lapisan medali Bronze, Silver, dan Gold.
  • Terapkan praktik tata kelola dan keamanan data menggunakan Unity Catalog.
  • Bekerja sama dengan tim Data Science, Analytics, Product, dan Customer Engineering.
  • Berkontribusi dalam diskusi arsitektur dan perancangan solusi teknis.
  • Buat komponen platform data dan standar rekayasa yang dapat digunakan kembali.
  • Tinjau kode dan tingkatkan keandalan serta kemudahan pemeliharaan platform.
  • Atasi masalah dan optimalkan beban kerja SQL dan Spark yang kompleks.
  • Dukung penerapan produksi dan modernisasi platform.

Persyaratan

  • Memiliki pengalaman profesional sebagai Data Engineer setidaknya lima tahun.
  • Menguasai pemrograman Python dan SQL tingkat lanjut.
  • Memiliki pengalaman komersial langsung menggunakan Databricks.
  • Menguasai Apache Spark, khususnya PySpark.
  • Berpengalaman merancang dan membangun platform data cloud modern.
  • Berpengalaman mengembangkan pipeline ETL dan ELT serta solusi pemrosesan data berskala besar.
  • Memiliki pengalaman langsung menggunakan Delta Lake.
  • Berpengalaman menggunakan Spark Declarative Pipelines.
  • Berpengalaman memantau klaster, menganalisis metrik, dan mengoptimalkan kinerja.
  • Memahami arsitektur pemrosesan data terdistribusi.
  • Memahami konsep pergudangan data dan pemodelan dimensional.
  • Berpengalaman menggunakan Airflow atau alat orkestrasi sejenis.
  • Berpengalaman mengoptimalkan beban kerja SQL analitik yang kompleks.
  • Berpengalaman menerapkan praktik CI/CD pada platform rekayasa data.
  • Terampil mengatasi masalah dan mengoptimalkan kinerja.
  • Mampu bekerja secara efektif dengan tim lintas fungsi dan internasional.
  • Memiliki kemampuan bahasa Inggris tingkat Upper-Intermediate atau lebih tinggi.

Tunjangan

  • Karyawan dapat bekerja jarak jauh.
  • Kesempatan untuk terus belajar.
  • Kesempatan untuk berkembang bersama teknologi.
  • Pekerjaan rekayasa yang memberikan dampak berarti.
  • Kesempatan mengerjakan proyek internasional yang kompleks.

Lowongan Terkait