Visa ialah syarikat teknologi pembayaran global yang menyediakan perkhidmatan kepada pengguna, pedagang, institusi kewangan dan kerajaan melalui rangkaian pembayaran elektroniknya. Platformnya menyokong transaksi kredit, debit dan prabayar, di samping pemprosesan pembayaran, pencegahan penipuan, keselamatan, analitik dan perkhidmatan lain untuk pengguna serta perniagaan. Visa turut membangunkan penyelesaian pembayaran baharu, termasuk inisiatif perdagangan berdaya AI, dan menyokong keterangkuman kewangan melalui Visa Foundation.
Jurutera Data Kanan, Data Lake (Kerja Jarak Jauh di Brazil)
Bina dan selenggara saluran paip Spark, Databricks, dan Airflow untuk data lake korporat Visa. Tingkatkan kualiti data, penyusunan atur aliran kerja, dan akses layan diri yang boleh dipercayai kepada data.
Penerangan
- Bangunkan, uji, dan selenggara saluran paip pengingesan, transformasi, dan kualiti data Databricks dengan PySpark dan SparkSQL.
- Cipta dan kemas kini DAG Airflow MWAA untuk menyusun atur aliran kerja data.
- Tulis dan optimumkan SQL untuk tugas transformasi dan pengesahan.
- Laksanakan dan pantau pemeriksaan kualiti data dengan Great Expectations atau alat yang setara.
- Sumbang kepada semakan kod rakan sekerja.
- Selesaikan kegagalan saluran paip dan isu kualiti data dengan sokongan daripada jurutera kanan.
- Cipta dan kemas kini dokumentasi untuk set data dan saluran paip.
- Sertai perancangan sprint, anggaran, dan retrospektif.
- Gunakan piawaian CI/CD, pengujian, dan tadbir urus pasukan.
- Bantu memperkukuh kebolehpercayaan dan kualiti data lake korporat Visa.
Keperluan
- Berpangkalan di Brazil.
- Berkomunikasi dalam bahasa Inggeris pada tahap B2 atau lebih tinggi (Pertengahan Atas).
- Mempunyai sekurang-kurangnya 3 tahun pengalaman berkaitan dengan ijazah Sarjana Muda atau Associate, atau sekurang-kurangnya 5 tahun pengalaman berkaitan.
- Menggunakan Python untuk automasi dan pemprosesan data.
- Memahami saluran paip data kelompok serta corak ETL/ELT.
- Mengetahui asas Apache Spark, termasuk PySpark atau SparkSQL.
- Berpengalaman dengan kerja, aliran kerja, pengurusan kluster, dan penalaan prestasi Databricks.
- Menggunakan SQL peringkat pertengahan hingga lanjutan, termasuk join, fungsi window, dan CTE.
- Memahami reka bentuk data lake Amazon S3, termasuk pembahagian, susun atur, dan pengurusan kitar hayat.
- Mengetahui konsep teras AWS, termasuk S3, IAM, dan CloudWatch.
- Memahami pemodelan dimensional atau Kimball serta seni bina lapisan medallion.
- Menggunakan aliran kerja Git/GitHub dan mengambil bahagian dalam semakan kod.
- Diutamakan: pengalaman dengan Delta Lake, Apache Airflow/MWAA, corak CDC, konsep kualiti data, asas Terraform, atau integrasi BI seperti Superset dan pembinaan papan pemuka.
Faedah
- Pengaturan kerja jarak jauh.
- Peluang untuk memberi impak pada skala besar.
- Pembangunan profesional dan peningkatan kemahiran melalui kerja yang bermakna.
- Pekerja jarak jauh mungkin mempunyai peluang berjadual dengan notis awal untuk bekerja dari pejabat Visa.