Instituto de Pesquisas Eldorado adalah lembaga penelitian dan pengembangan asal Brasil yang didirikan pada 1999. Lembaga ini membantu berbagai organisasi mengubah inisiatif teknologi menjadi produk yang telah diuji serta inovasi yang dapat diterapkan. Kegiatannya mencakup sertifikasi produk telekomunikasi, pengujian laboratorium, dan konsultasi inovasi untuk sektor otomotif, kesehatan, logistik, pertanian, energi, serta minyak dan gas. Lembaga ini juga mengembangkan program pelatihan dan pendidikan serta bekerja sama dengan mitra industri dan penelitian untuk memperluas kapabilitas teknologi.
Analis Data – PySpark, SQL, dan Power BI
Bangun pipeline data, model, dan dasbor untuk pusat R&D Brasil Instituto de Pesquisas Eldorado. Gunakan PySpark, SQL, Databricks, dan Power BI.
Deskripsi
- Buat dan terapkan pipeline pemasukan data menggunakan REST API, web scraping, prosedur SQL lama, dan file
- Bantu menerapkan replikasi hanya-baca untuk sistem tanpa akses basis data langsung dengan mempertimbangkan dampak kinerja
- Transformasikan data dengan PySpark dan SQL
- Bantu menguji tolok ukur biaya dan kinerja pemrosesan serta menentukan ukuran sumber daya yang efisien
- Bantu membangun lapisan data Bronze, Silver, dan Gold menggunakan arsitektur medali
- Bangun pipeline scraping yang tangguh dengan deteksi perubahan tata letak dan mitigasi pemblokiran
- Hapus duplikasi dan normalkan data, serta uji kualitasnya
- Bantu menerapkan kontrak data dan peringatan perubahan skema untuk integrasi pihak ketiga
- Buat dasbor dan laporan Power BI
- Ubah kebutuhan bisnis menjadi model data dan visualisasi yang jelas
- Terapkan Row-Level Security pada laporan sesuai kebijakan RBAC
- Buat pengujian kualitas data dan transformasi deklaratif dengan dbt
- Bantu mengonfigurasi fitur analitik layanan mandiri, termasuk Fabric Copilot
- Bekerja sama dengan tim tata kelola data untuk menjaga lineage dan klasifikasi
- Temukan dan perbaiki masalah kinerja pada pipeline dan kueri
- Jalankan pengujian penerimaan pengguna dan tingkatkan dasbor berdasarkan masukan
Persyaratan
- Gelar sarjana di bidang Ilmu Komputer, Teknik Komputer, Analisis Sistem, atau bidang terkait
- Pengalaman tingkat menengah dalam rekayasa data, Python atau PySpark, dan SQL
- Mengenal Databricks atau Spark
- Mengenal alat orkestrasi seperti Azure Data Factory
- Mengenal format data analitik seperti Parquet dan Delta Lake
- Pengetahuan tentang dbt menjadi nilai tambah
- Mengenal Git dan CI/CD untuk pipeline data
- Pengalaman mengintegrasikan data melalui REST API
- Memahami praktik visualisasi data dan penceritaan data
- Pengalaman bekerja dengan beragam sumber data, termasuk SQL, API, file, Lakehouse, dan Warehouse
- Pengalaman menerapkan Row-Level Security
- Bersedia bepergian ke São Paulo menjadi nilai tambah
- Kemampuan bahasa Inggris tingkat lanjut menjadi nilai tambah
Tunjangan
- Kesempatan yang setara bagi semua kandidat
- Lingkungan kerja yang beragam dan inklusif
- Terbuka bagi kandidat penyandang disabilitas
- Pengaturan kerja hibrida
- Kesempatan untuk mengembangkan pengalaman dan berkontribusi pada proyek yang relevan
- Akses ke infrastruktur laboratorium dan proyek R&D organisasi