
Walmart เป็นบริษัทค้าปลีกและอีคอมเมิร์ซระดับโลกที่ให้บริการผู้บริโภคผ่านไฮเปอร์มาร์เก็ต ห้างสรรพสินค้าราคาประหยัด ร้านจำหน่ายสินค้าอุปโภคบริโภค และตลาดออนไลน์ บริษัทมีสินค้าหลากหลายประเภท โดยได้รับการสนับสนุนจากเครือข่ายร้านค้าจริงขนาดใหญ่ การดำเนินงานแบบขายตรงถึงผู้บริโภค ตลอดจนระบบโลจิสติกส์และห่วงโซ่อุปทานที่จำเป็นต่อการเคลื่อนย้ายสินค้าไปทั่วทั้งธุรกิจ
วิศวกรข้อมูลอาวุโส - บังกาลอร์ อินเดีย (ทำงานที่สำนักงาน)
สร้างไปป์ไลน์ข้อมูลแบบแบตช์และสตรีมมิงที่รองรับการขยายตัว รวมถึงผลิตภัณฑ์ข้อมูล GenAI สำหรับงานตรวจสอบหลังการชำระเงินของ Walmart ปรับปรุงความถูกต้องของการชำระเงิน การกระทบยอด กระบวนการเรียกคืน และการวิเคราะห์การเงิน
รายละเอียด
- สร้างและดูแลไปป์ไลน์ข้อมูลแบบแบตช์ สตรีมมิง และเกือบเรียลไทม์ที่รองรับการขยายตัว สำหรับการตรวจสอบหลังการชำระเงิน ความถูกต้องของการชำระเงิน การกระทบยอดซัพพลายเออร์ งานเรียกคืน และการวิเคราะห์การเงิน
- พัฒนาชุดข้อมูลที่ผ่านการคัดสรร โมเดลเชิงความหมาย ตารางที่พร้อมใช้เป็นฟีเจอร์ และผลิตภัณฑ์ข้อมูลที่นำกลับมาใช้ซ้ำได้จากระบบใบแจ้งหนี้ ใบสั่งซื้อ การรับสินค้า ซัพพลายเออร์ เคลม การกำหนดราคา และการชำระเงิน
- สร้างเวิร์กโฟลว์ ELT, ETL และสตรีมมิงด้วย SQL, Python, PySpark, Apache Flink, dbt, เครื่องมือจัดการลำดับงาน แพลตฟอร์มสตรีมมิงเหตุการณ์ และเทคโนโลยีข้อมูลบนคลาวด์
- พัฒนาไปป์ไลน์สตรีมมิงและการจับการเปลี่ยนแปลงข้อมูลด้วยการประมวลผลตามเวลาของเหตุการณ์ การจัดการข้อมูลมาถึงล่าช้า การเล่นข้อมูลซ้ำ ความไม่ซ้ำซ้อนเมื่อประมวลผลซ้ำ การเติมข้อมูลย้อนหลัง และการกู้คืนเมื่อเกิดข้อผิดพลาด
- ออกแบบและดำเนินงานผลิตภัณฑ์ข้อมูลแบบเลคเฮาส์โดยใช้ Apache Hudi, Apache Iceberg หรือ Delta Lake
- จัดทำการตรวจสอบคุณภาพข้อมูล การควบคุมการกระทบยอด การตรวจสอบสคีมา การติดตามสายข้อมูล การมอนิเตอร์ การแจ้งเตือน และแนวทางด้านการสังเกตการณ์ระบบ
- ทำงานร่วมกับทีมการเงิน การตรวจสอบ การปฏิบัติการ ผลิตภัณฑ์ วิทยาศาสตร์ข้อมูล และวิศวกรรม เพื่อส่งมอบโซลูชันข้อมูลที่พร้อมใช้งานจริง
- รองรับการตรวจจับความผิดปกติ การจัดลำดับความสำคัญของข้อยกเว้น กฎการตรวจสอบ การให้คะแนนด้วยแมชชีนเลิร์นนิง และเวิร์กโฟลว์ GenAI
- สร้างระบบอัตโนมัติและบริการข้อมูลที่ช่วยทีมตรวจสอบสรุปหลักฐาน คัดแยกข้อยกเว้น ให้บริบทสำหรับการสืบสวน และลดการตรวจสอบด้วยตนเอง
- นำรูปแบบวิศวกรรมข้อมูล GenAI มาใช้ เช่น คลังเอกสารที่พร้อมสำหรับการค้นคืน ไปป์ไลน์สร้าง embedding การเชื่อมต่อฐานข้อมูลเวกเตอร์ การเพิ่มพูนเมทาดาทา และการค้นคืนองค์ความรู้ภายใต้การกำกับดูแล
- ปรับปรุงเวิร์กโหลดแบบแบตช์และสตรีมมิงด้านความน่าเชื่อถือ ความใหม่ของข้อมูล เวลาแฝง การจัดการสถานะ ประสิทธิภาพการประมวลผล และการใช้งานในระบบปลายทาง
- ตรวจสอบความคลาดเคลื่อนของข้อมูล ความล้มเหลวของไปป์ไลน์ ความไม่ตรงกันในการกระทบยอด และปัญหาของระบบต้นทางผ่านการวิเคราะห์สาเหตุราก
คุณสมบัติ
- วุฒิปริญญาตรีด้านวิทยาการคอมพิวเตอร์ วิศวกรรม เทคโนโลยีสารสนเทศ วิศวกรรมข้อมูล การวิเคราะห์ คณิตศาสตร์ สถิติ หรือสาขาที่เกี่ยวข้อง พร้อมประสบการณ์ที่เกี่ยวข้องมากกว่า 6 ปี หรือวุฒิปริญญาโทพร้อมประสบการณ์มากกว่า 4 ปี หรือปริญญาเอกพร้อมประสบการณ์ที่เกี่ยวข้องมากกว่า 3 ปี
- มีความสามารถในการลงมือปฏิบัติที่พิสูจน์ได้กับ SQL, Python, PySpark, Apache Flink หรือเฟรมเวิร์กประมวลผลสตรีมที่เทียบเท่า และการประมวลผลข้อมูลแบบกระจายขนาดใหญ่
- มีประสบการณ์กับ dbt หรือเฟรมเวิร์กการแปลงข้อมูลที่เทียบเท่า Airflow หรือเครื่องมือจัดการลำดับงานที่คล้ายกัน Kafka หรือแพลตฟอร์มสตรีมมิงเหตุการณ์ที่เทียบเท่า และเทคโนโลยีข้อมูลบนคลาวด์หรือระดับองค์กร เช่น BigQuery, Hive หรือ Spark
- มีผลงานในการออกแบบ ติดตั้งใช้งาน และสนับสนุนไปป์ไลน์ข้อมูลแบบแบตช์และสตรีมมิง เวิร์กโฟลว์ ELT/ETL โมเดลข้อมูล และผลิตภัณฑ์ข้อมูลที่นำกลับมาใช้ซ้ำได้ในระบบจริง
- มีความรู้ที่มั่นคงด้านการสร้างโมเดลข้อมูล การแบ่งพาร์ทิชัน การปรับแต่งประสิทธิภาพ การประมวลผลแบบเพิ่มข้อมูล CDC การเปลี่ยนแปลงสคีมา สัญญาข้อมูล การจัดการเมทาดาทา การติดตามสายข้อมูล และรูปแบบเลคเฮาส์ เช่น Apache Hudi, Apache Iceberg หรือ Delta Lake
- มีประสบการณ์ในการส่งมอบการตรวจสอบคุณภาพข้อมูล ตรรกะการกระทบยอด เฟรมเวิร์กการตรวจสอบ การสังเกตการณ์ระบบ การมอนิเตอร์ การแจ้งเตือน และการแก้ไขเหตุขัดข้องสำหรับไปป์ไลน์ในระบบจริง
- มีประสบการณ์พัฒนาโซลูชันสตรีมมิงที่ใช้การประมวลผลตามเวลาของเหตุการณ์ การแปลงข้อมูลแบบมีสถานะ checkpointing watermarking การประมวลผลแบบ exactly-once หรือ effectively-once และกลยุทธ์การเล่นข้อมูลซ้ำหรือเติมข้อมูลย้อนหลัง
- มีประสบการณ์จัดการชุดข้อมูลแบบมีโครงสร้างและกึ่งโครงสร้างขนาดใหญ่จากหลายระบบต้นทาง รวมถึงข้อมูลปฏิบัติการที่มีคำนิยามทางธุรกิจไม่สอดคล้องกัน
- มีทักษะการทำงานร่วมกันที่ดีและสามารถทำงานข้ามทีมการเงิน การตรวจสอบ การปฏิบัติการ ผลิตภัณฑ์ วิทยาศาสตร์ข้อมูล และวิศวกรรม
- ทางเลือกสำหรับคุณสมบัติขั้นต่ำ ได้แก่ ปริญญาตรีด้านวิทยาการคอมพิวเตอร์พร้อมประสบการณ์ด้านวิศวกรรมซอฟต์แวร์หรือสาขาที่เกี่ยวข้อง 3 ปี ประสบการณ์ด้านวิศวกรรมซอฟต์แวร์หรือสาขาที่เกี่ยวข้อง 5 ปี หรือปริญญาโทด้านวิทยาการคอมพิวเตอร์พร้อมประสบการณ์ด้านวิศวกรรมซอฟต์แวร์หรือสาขาที่เกี่ยวข้อง 1 ปี
- มีประสบการณ์อย่างน้อย 2 ปีด้านวิศวกรรมข้อมูล วิศวกรรมฐานข้อมูล ระบบธุรกิจอัจฉริยะ หรือการวิเคราะห์ธุรกิจ
สวัสดิการ
- รางวัลจูงใจตามผลงาน
- สิทธิลาคลอดและลาเพื่อเลี้ยงดูบุตร
- วันหยุดโดยได้รับค่าจ้าง
- สวัสดิการด้านสุขภาพ