State Street
State Street
State Street เป็นบริษัทให้บริการทางการเงินระดับโลกที่ให้บริการนักลงทุนสถาบันผ่านโซลูชันด้านการจัดการการลงทุนและบริการการลงทุน บริการของบริษัทครอบคลุมการจัดการสินทรัพย์ บริการรับฝากทรัพย์สิน และการวิจัยการลงทุน โดยอาศัยความเชี่ยวชาญด้านการเงิน เทคโนโลยีทางการเงิน และการธนาคาร บริษัทมุ่งช่วยลูกค้าจัดการกิจกรรมการลงทุนที่ซับซ้อนด้วยข้อมูล ข้อมูลเชิงลึก และความสามารถด้านการดำเนินงาน เพื่อเพิ่มประสิทธิภาพและสนับสนุนการตัดสินใจทางการเงิน

วิศวกรข้อมูล ผู้ช่วยรองประธาน - พรินซ์ตัน รัฐนิวเจอร์ซีย์

สร้างแพลตฟอร์ม lakehouse บน AWS และ Databricks เพื่อสนับสนุนการดำเนินงานด้านกฎหมายและการปฏิบัติตามข้อกำหนดของ State Street พัฒนาไปป์ไลน์ข้อมูลที่มีการกำกับดูแลสำหรับการวิเคราะห์ การรายงาน และแอปพลิเคชัน AI/ML

รายละเอียด

  • สร้างและดูแลไปป์ไลน์ข้อมูลที่ปรับขนาดได้ด้วย PySpark, Python และ Spark SQL
  • พัฒนาและเพิ่มประสิทธิภาพเวิร์กโฟลว์ ETL/ELT บน Databricks ด้วย Delta Lake
  • นำสถาปัตยกรรม lakehouse แบบ Bronze, Silver และ Gold มาใช้กับแพลตฟอร์มข้อมูลระดับองค์กร
  • จัดการ Jobs, Workflows และ Notebooks ของ Databricks สำหรับงานแบบแบตช์และแบบสตรีมมิง
  • สร้างเฟรมเวิร์กที่นำกลับมาใช้ซ้ำได้สำหรับการนำเข้า การประมวลผล และการจัดการลำดับงานข้อมูล
  • บรรจุงานข้อมูลในคอนเทนเนอร์ด้วย Docker และทำให้กระบวนการเป็นอัตโนมัติผ่านการเขียนสคริปต์
  • เชื่อมต่อไปป์ไลน์ Databricks กับ Power Apps และ Power Automate
  • เปิดให้ผู้ใช้ธุรกิจเข้าถึงข้อมูลผ่าน API, connector และชุดข้อมูลที่คัดสรรแล้ว
  • ออกแบบและเพิ่มประสิทธิภาพสถาปัตยกรรม lakehouse บน Databricks
  • ผสานรวม SQL Server, Oracle และแหล่งข้อมูลระดับองค์กรอื่นๆ
  • ใช้การสร้างแบบจำลองเชิงมิติ การแบ่งพาร์ทิชัน และวิธีการเพิ่มประสิทธิภาพ
  • ประมวลผลรูปแบบข้อมูลแบบมีโครงสร้างและกึ่งโครงสร้าง รวมถึง JSON และ Parquet
  • เพิ่มประสิทธิภาพด้วยการแคช การทำดัชนี และการปรับแต่ง Spark
  • เผยแพร่ชุดข้อมูลที่คัดสรรแล้วสำหรับ Power BI, Power Apps และเวิร์กโฟลว์ Power Automate
  • ดูแลคุณภาพข้อมูลด้วยการทดสอบหน่วย เฟรมเวิร์กการตรวจสอบความถูกต้อง และการตรวจสอบอัตโนมัติ
  • ติดตามและแก้ไขปัญหางานและไปป์ไลน์ Spark แบบกระจาย
  • ตรวจสอบบันทึกและแก้ไขปัญหาในระบบจริงทั่วทั้ง Databricks และสภาพแวดล้อมคลาวด์
  • ดูแลสายธารข้อมูล ความสอดคล้อง และความพร้อมสำหรับการตรวจสอบ
  • ทำงานร่วมกับทีมกฎหมาย ความปลอดภัย การปฏิบัติตามข้อกำหนด และข้อมูลระดับองค์กร
  • แปลงข้อกำหนดทางธุรกิจให้เป็นโซลูชันวิศวกรรมข้อมูล
  • เป็นผู้เชี่ยวชาญเฉพาะด้าน Databricks และสถาปัตยกรรม lakehouse
  • เป็นผู้นำโครงการต่างๆ ได้อย่างอิสระและรับผิดชอบผลงานที่ส่งมอบ
  • สนับสนุนการกำกับดูแลด้วย Databricks Unity Catalog รวมถึงการควบคุม AWS IAM และ KMS
  • ปฏิบัติตามข้อกำหนดด้านความเป็นส่วนตัวของข้อมูล กฎระเบียบ ความปลอดภัย และการตรวจสอบ
  • ดูแลการควบคุมการเข้าถึง รวมถึงมาตรฐานการจัดประเภทและการจัดการข้อมูล
  • ทำงานร่วมกับทีม IAM และความปลอดภัยเพื่อปกป้องการเข้าถึงข้อมูล
  • ออกแบบและดูแลไปป์ไลน์ CI/CD ด้วย Harness, Azure DevOps หรือ GitHub
  • ทำให้การติดตั้งสินทรัพย์ Databricks เป็นอัตโนมัติด้วย Databricks Repos และ CLI
  • ติดตาม กำหนดเวลา และเพิ่มประสิทธิภาพเวิร์กโฟลว์ด้วยเครื่องมือจัดการลำดับงานของ Databricks
  • ดูแลเอกสารสถาปัตยกรรม กระแสข้อมูล และคู่มือการปฏิบัติงาน
  • ปรับปรุงประสิทธิภาพ ความสามารถในการปรับขนาด และประสิทธิภาพด้านต้นทุนของแพลตฟอร์ม

คุณสมบัติ

  • วุฒิปริญญาตรีหรือปริญญาโทด้านวิทยาการคอมพิวเตอร์ วิศวกรรมข้อมูล ระบบสารสนเทศ หรือสาขาเทคนิคที่เกี่ยวข้อง
  • มีประสบการณ์อย่างน้อย 8 ปีด้านวิศวกรรมข้อมูลหรือการพัฒนาแพลตฟอร์มข้อมูล
  • มีความเชี่ยวชาญด้าน Databricks และ Apache Spark จากการปฏิบัติงานจริง
  • มีทักษะใน PySpark, Python และ SQL
  • มีประสบการณ์กับบริการข้อมูลของ AWS รวมถึง S3, Glue, Lambda และ IAM
  • มีประสบการณ์กับ Delta Lake และสถาปัตยกรรม lakehouse
  • มีความรู้ความเข้าใจอย่างดีเกี่ยวกับการประมวลผลข้อมูลแบบกระจาย
  • มีความรู้ความเข้าใจอย่างดีเกี่ยวกับเฟรมเวิร์ก ETL และ ELT
  • มีความรู้ความเข้าใจอย่างดีเกี่ยวกับเทคนิคการสร้างแบบจำลองข้อมูล
  • มีประสบการณ์จริงกับองค์ประกอบของ Databricks เช่น Delta Lake, Workflows และ Unity Catalog
  • มีประสบการณ์อย่างกว้างขวางในการสร้างไปป์ไลน์แบบแบตช์และแบบสตรีมมิงตั้งแต่ต้นจนจบด้วย AWS และ Databricks
  • คุ้นเคยกับการเพิ่มประสิทธิภาพ Spark และ Delta Lake
  • มีประสบการณ์สนับสนุนงานด้านการวิเคราะห์ การรายงาน หรือ AI/ML บนแพลตฟอร์ม lakehouse
  • มีความรู้ด้านการกำกับดูแลข้อมูล การจัดการเมทาดาทา และการควบคุมความปลอดภัย
  • มีประสบการณ์ในด้านกฎหมาย การปฏิบัติตามข้อกำหนด บริการทางการเงิน หรืออุตสาหกรรมที่อยู่ภายใต้การกำกับดูแลอื่นๆ
  • เข้าใจแนวคิดข้อมูลด้านกฎหมาย รวมถึงสัญญา ข้อกำหนด ภาระผูกพัน และเรื่องทางกฎหมาย
  • มีประสบการณ์หรือความคุ้นเคยกับการประมวลผลข้อมูลไม่มีโครงสร้าง หรือไปป์ไลน์เอกสารและ NLP
  • มีประสบการณ์กับ Power BI, Power Apps หรือ Power Platform
  • มีประสบการณ์จัดการข้อมูลที่มีความละเอียดอ่อนในสภาพแวดล้อมที่ขับเคลื่อนด้วยการตรวจสอบ

สวัสดิการ

  • แผนการออมเพื่อการเกษียณ 401(k) พร้อมเงินสมทบจากบริษัท
  • ตัวเลือกประกันภัย ได้แก่ ประกันชีวิตพื้นฐาน ประกันสุขภาพ ประกันทันตกรรม ประกันสายตา ประกันทุพพลภาพระยะยาว และความคุ้มครองเสริมอื่นๆ
  • การลาหยุดโดยได้รับค่าจ้าง ครอบคลุมวันหยุดพักร้อน ลาป่วย ทุพพลภาพระยะสั้น และภาระการดูแลครอบครัว
  • โครงการช่วยเหลือพนักงาน
  • ค่าตอบแทนจูงใจ โดยผู้มีสิทธิ์อาจได้รับรางวัลประจำปีตามผลงาน
  • มีสิทธิ์เข้าร่วมแผนการออมที่ได้รับสิทธิประโยชน์ทางภาษีบางประเภท
  • โอกาสพัฒนาวิชาชีพที่เปิดกว้างและครอบคลุม
  • การสนับสนุนสมดุลระหว่างชีวิตและการทำงานที่ยืดหยุ่น
  • วันลาโดยได้รับค่าจ้างสำหรับงานอาสาสมัคร
  • เครือข่ายพนักงาน