
Visa เป็นบริษัทเทคโนโลยีการชำระเงินระดับโลกที่ให้บริการแก่ผู้บริโภค ร้านค้า สถาบันการเงิน และรัฐบาลผ่านเครือข่ายการชำระเงินอิเล็กทรอนิกส์ของบริษัท แพลตฟอร์มของ Visa รองรับธุรกรรมบัตรเครดิต บัตรเดบิต และบัตรเติมเงิน รวมถึงบริการประมวลผลการชำระเงิน การป้องกันการฉ้อโกง ความปลอดภัย การวิเคราะห์ข้อมูล และบริการอื่น ๆ สำหรับผู้บริโภคและธุรกิจ Visa ยังพัฒนาโซลูชันการชำระเงินรูปแบบใหม่ ซึ่งรวมถึงโครงการพาณิชย์ที่ขับเคลื่อนด้วยปัญญาประดิษฐ์ และสนับสนุนการเข้าถึงบริการทางการเงินผ่าน Visa Foundation
วิศวกรข้อมูลอาวุโส ทะเลสาบข้อมูล (ทำงานทางไกลจากบราซิล)
สร้างและดูแลไปป์ไลน์ Spark, Databricks และ Airflow สำหรับทะเลสาบข้อมูลระดับองค์กรของ Visa ปรับปรุงคุณภาพข้อมูล การจัดการเวิร์กโฟลว์ และการเข้าถึงข้อมูลแบบบริการตนเองที่เชื่อถือได้
รายละเอียด
- พัฒนา ทดสอบ และดูแลไปป์ไลน์การนำเข้า การแปลง และการตรวจสอบคุณภาพข้อมูลบน Databricks ด้วย PySpark และ SparkSQL
- สร้างและอัปเดต DAG ของ MWAA Airflow เพื่อจัดการเวิร์กโฟลว์ข้อมูล
- เขียนและปรับปรุงประสิทธิภาพ SQL สำหรับงานแปลงและตรวจสอบข้อมูล
- นำไปใช้และติดตามการตรวจสอบคุณภาพข้อมูลด้วย Great Expectations หรือเครื่องมือเทียบเท่า
- มีส่วนร่วมในการตรวจสอบโค้ดโดยเพื่อนร่วมงาน
- แก้ไขปัญหาไปป์ไลน์ล้มเหลวและปัญหาคุณภาพข้อมูล โดยได้รับการสนับสนุนจากวิศวกรอาวุโส
- สร้างและอัปเดตเอกสารสำหรับชุดข้อมูลและไปป์ไลน์
- มีส่วนร่วมในการวางแผนสปรินต์ การประเมินงาน และการประชุมทบทวนย้อนหลัง
- ปฏิบัติตามมาตรฐาน CI/CD การทดสอบ และการกำกับดูแลของทีม
- ช่วยเสริมสร้างความน่าเชื่อถือและคุณภาพของทะเลสาบข้อมูลระดับองค์กรของ Visa
คุณสมบัติ
- ประจำอยู่ในบราซิล
- สื่อสารภาษาอังกฤษได้ในระดับ B2 ขึ้นไป (ระดับกลางค่อนข้างสูง)
- มีประสบการณ์ที่เกี่ยวข้องอย่างน้อย 3 ปี พร้อมวุฒิปริญญาตรีหรืออนุปริญญา หรือมีประสบการณ์ที่เกี่ยวข้องอย่างน้อย 5 ปี
- ใช้ Python สำหรับระบบอัตโนมัติและการประมวลผลข้อมูล
- เข้าใจไปป์ไลน์ข้อมูลแบบแบตช์และรูปแบบ ETL/ELT
- มีความรู้พื้นฐานเกี่ยวกับ Apache Spark รวมถึง PySpark หรือ SparkSQL
- มีประสบการณ์ทำงานกับ jobs, workflows, การจัดการคลัสเตอร์ และการปรับจูนประสิทธิภาพบน Databricks
- ใช้ SQL ระดับกลางถึงขั้นสูง รวมถึงการ join, window functions และ CTE
- เข้าใจการออกแบบทะเลสาบข้อมูลบน Amazon S3 รวมถึงการแบ่งพาร์ทิชัน โครงสร้างการจัดวาง และการจัดการวงจรชีวิต
- มีความรู้เกี่ยวกับแนวคิดหลักของ AWS รวมถึง S3, IAM และ CloudWatch
- เข้าใจการสร้างแบบจำลองแบบมิติหรือ Kimball และสถาปัตยกรรมแบบ medallion layer
- ใช้เวิร์กโฟลว์ Git/GitHub และมีส่วนร่วมในการตรวจสอบโค้ด
- พิจารณาเป็นพิเศษหากมีประสบการณ์กับ Delta Lake, Apache Airflow/MWAA, รูปแบบ CDC, แนวคิดด้านคุณภาพข้อมูล, พื้นฐาน Terraform หรือการผสานรวม BI เช่น Superset และการสร้างแดชบอร์ด
สวัสดิการ
- รูปแบบการทำงานทางไกล
- โอกาสสร้างผลกระทบในวงกว้าง
- พัฒนาความเชี่ยวชาญและทักษะผ่านงานที่มีความหมาย
- พนักงานทางไกลอาจมีโอกาสเข้าทำงานที่สำนักงาน Visa ตามกำหนดการและมีการแจ้งให้ทราบล่วงหน้า