
State Street เป็นบริษัทให้บริการทางการเงินระดับโลกที่ให้บริการนักลงทุนสถาบันผ่านโซลูชันด้านการจัดการการลงทุนและบริการการลงทุน บริการของบริษัทครอบคลุมการจัดการสินทรัพย์ บริการรับฝากทรัพย์สิน และการวิจัยการลงทุน โดยอาศัยความเชี่ยวชาญด้านการเงิน เทคโนโลยีทางการเงิน และการธนาคาร บริษัทมุ่งช่วยลูกค้าจัดการกิจกรรมการลงทุนที่ซับซ้อนด้วยข้อมูล ข้อมูลเชิงลึก และความสามารถด้านการดำเนินงาน เพื่อเพิ่มประสิทธิภาพและสนับสนุนการตัดสินใจทางการเงิน
วิศวกรข้อมูล ผู้ช่วยรองประธาน - พรินซ์ตัน รัฐนิวเจอร์ซีย์
สร้างแพลตฟอร์ม lakehouse บน AWS และ Databricks เพื่อสนับสนุนการดำเนินงานด้านกฎหมายและการปฏิบัติตามข้อกำหนดของ State Street พัฒนาไปป์ไลน์ข้อมูลที่มีการกำกับดูแลสำหรับการวิเคราะห์ การรายงาน และแอปพลิเคชัน AI/ML
$100,000 – $167,500 / ปี
ในสถานที่เต็มเวลาหัวหน้าทีมภาษาที่จำเป็น: อังกฤษวิศวกรข้อมูลรายละเอียด
- สร้างและดูแลไปป์ไลน์ข้อมูลที่ปรับขนาดได้ด้วย PySpark, Python และ Spark SQL
- พัฒนาและเพิ่มประสิทธิภาพเวิร์กโฟลว์ ETL/ELT บน Databricks ด้วย Delta Lake
- นำสถาปัตยกรรม lakehouse แบบ Bronze, Silver และ Gold มาใช้กับแพลตฟอร์มข้อมูลระดับองค์กร
- จัดการ Jobs, Workflows และ Notebooks ของ Databricks สำหรับงานแบบแบตช์และแบบสตรีมมิง
- สร้างเฟรมเวิร์กที่นำกลับมาใช้ซ้ำได้สำหรับการนำเข้า การประมวลผล และการจัดการลำดับงานข้อมูล
- บรรจุงานข้อมูลในคอนเทนเนอร์ด้วย Docker และทำให้กระบวนการเป็นอัตโนมัติผ่านการเขียนสคริปต์
- เชื่อมต่อไปป์ไลน์ Databricks กับ Power Apps และ Power Automate
- เปิดให้ผู้ใช้ธุรกิจเข้าถึงข้อมูลผ่าน API, connector และชุดข้อมูลที่คัดสรรแล้ว
- ออกแบบและเพิ่มประสิทธิภาพสถาปัตยกรรม lakehouse บน Databricks
- ผสานรวม SQL Server, Oracle และแหล่งข้อมูลระดับองค์กรอื่นๆ
- ใช้การสร้างแบบจำลองเชิงมิติ การแบ่งพาร์ทิชัน และวิธีการเพิ่มประสิทธิภาพ
- ประมวลผลรูปแบบข้อมูลแบบมีโครงสร้างและกึ่งโครงสร้าง รวมถึง JSON และ Parquet
- เพิ่มประสิทธิภาพด้วยการแคช การทำดัชนี และการปรับแต่ง Spark
- เผยแพร่ชุดข้อมูลที่คัดสรรแล้วสำหรับ Power BI, Power Apps และเวิร์กโฟลว์ Power Automate
- ดูแลคุณภาพข้อมูลด้วยการทดสอบหน่วย เฟรมเวิร์กการตรวจสอบความถูกต้อง และการตรวจสอบอัตโนมัติ
- ติดตามและแก้ไขปัญหางานและไปป์ไลน์ Spark แบบกระจาย
- ตรวจสอบบันทึกและแก้ไขปัญหาในระบบจริงทั่วทั้ง Databricks และสภาพแวดล้อมคลาวด์
- ดูแลสายธารข้อมูล ความสอดคล้อง และความพร้อมสำหรับการตรวจสอบ
- ทำงานร่วมกับทีมกฎหมาย ความปลอดภัย การปฏิบัติตามข้อกำหนด และข้อมูลระดับองค์กร
- แปลงข้อกำหนดทางธุรกิจให้เป็นโซลูชันวิศวกรรมข้อมูล
- เป็นผู้เชี่ยวชาญเฉพาะด้าน Databricks และสถาปัตยกรรม lakehouse
- เป็นผู้นำโครงการต่างๆ ได้อย่างอิสระและรับผิดชอบผลงานที่ส่งมอบ
- สนับสนุนการกำกับดูแลด้วย Databricks Unity Catalog รวมถึงการควบคุม AWS IAM และ KMS
- ปฏิบัติตามข้อกำหนดด้านความเป็นส่วนตัวของข้อมูล กฎระเบียบ ความปลอดภัย และการตรวจสอบ
- ดูแลการควบคุมการเข้าถึง รวมถึงมาตรฐานการจัดประเภทและการจัดการข้อมูล
- ทำงานร่วมกับทีม IAM และความปลอดภัยเพื่อปกป้องการเข้าถึงข้อมูล
- ออกแบบและดูแลไปป์ไลน์ CI/CD ด้วย Harness, Azure DevOps หรือ GitHub
- ทำให้การติดตั้งสินทรัพย์ Databricks เป็นอัตโนมัติด้วย Databricks Repos และ CLI
- ติดตาม กำหนดเวลา และเพิ่มประสิทธิภาพเวิร์กโฟลว์ด้วยเครื่องมือจัดการลำดับงานของ Databricks
- ดูแลเอกสารสถาปัตยกรรม กระแสข้อมูล และคู่มือการปฏิบัติงาน
- ปรับปรุงประสิทธิภาพ ความสามารถในการปรับขนาด และประสิทธิภาพด้านต้นทุนของแพลตฟอร์ม
คุณสมบัติ
- วุฒิปริญญาตรีหรือปริญญาโทด้านวิทยาการคอมพิวเตอร์ วิศวกรรมข้อมูล ระบบสารสนเทศ หรือสาขาเทคนิคที่เกี่ยวข้อง
- มีประสบการณ์อย่างน้อย 8 ปีด้านวิศวกรรมข้อมูลหรือการพัฒนาแพลตฟอร์มข้อมูล
- มีความเชี่ยวชาญด้าน Databricks และ Apache Spark จากการปฏิบัติงานจริง
- มีทักษะใน PySpark, Python และ SQL
- มีประสบการณ์กับบริการข้อมูลของ AWS รวมถึง S3, Glue, Lambda และ IAM
- มีประสบการณ์กับ Delta Lake และสถาปัตยกรรม lakehouse
- มีความรู้ความเข้าใจอย่างดีเกี่ยวกับการประมวลผลข้อมูลแบบกระจาย
- มีความรู้ความเข้าใจอย่างดีเกี่ยวกับเฟรมเวิร์ก ETL และ ELT
- มีความรู้ความเข้าใจอย่างดีเกี่ยวกับเทคนิคการสร้างแบบจำลองข้อมูล
- มีประสบการณ์จริงกับองค์ประกอบของ Databricks เช่น Delta Lake, Workflows และ Unity Catalog
- มีประสบการณ์อย่างกว้างขวางในการสร้างไปป์ไลน์แบบแบตช์และแบบสตรีมมิงตั้งแต่ต้นจนจบด้วย AWS และ Databricks
- คุ้นเคยกับการเพิ่มประสิทธิภาพ Spark และ Delta Lake
- มีประสบการณ์สนับสนุนงานด้านการวิเคราะห์ การรายงาน หรือ AI/ML บนแพลตฟอร์ม lakehouse
- มีความรู้ด้านการกำกับดูแลข้อมูล การจัดการเมทาดาทา และการควบคุมความปลอดภัย
- มีประสบการณ์ในด้านกฎหมาย การปฏิบัติตามข้อกำหนด บริการทางการเงิน หรืออุตสาหกรรมที่อยู่ภายใต้การกำกับดูแลอื่นๆ
- เข้าใจแนวคิดข้อมูลด้านกฎหมาย รวมถึงสัญญา ข้อกำหนด ภาระผูกพัน และเรื่องทางกฎหมาย
- มีประสบการณ์หรือความคุ้นเคยกับการประมวลผลข้อมูลไม่มีโครงสร้าง หรือไปป์ไลน์เอกสารและ NLP
- มีประสบการณ์กับ Power BI, Power Apps หรือ Power Platform
- มีประสบการณ์จัดการข้อมูลที่มีความละเอียดอ่อนในสภาพแวดล้อมที่ขับเคลื่อนด้วยการตรวจสอบ
สวัสดิการ
- แผนการออมเพื่อการเกษียณ 401(k) พร้อมเงินสมทบจากบริษัท
- ตัวเลือกประกันภัย ได้แก่ ประกันชีวิตพื้นฐาน ประกันสุขภาพ ประกันทันตกรรม ประกันสายตา ประกันทุพพลภาพระยะยาว และความคุ้มครองเสริมอื่นๆ
- การลาหยุดโดยได้รับค่าจ้าง ครอบคลุมวันหยุดพักร้อน ลาป่วย ทุพพลภาพระยะสั้น และภาระการดูแลครอบครัว
- โครงการช่วยเหลือพนักงาน
- ค่าตอบแทนจูงใจ โดยผู้มีสิทธิ์อาจได้รับรางวัลประจำปีตามผลงาน
- มีสิทธิ์เข้าร่วมแผนการออมที่ได้รับสิทธิประโยชน์ทางภาษีบางประเภท
- โอกาสพัฒนาวิชาชีพที่เปิดกว้างและครอบคลุม
- การสนับสนุนสมดุลระหว่างชีวิตและการทำงานที่ยืดหยุ่น
- วันลาโดยได้รับค่าจ้างสำหรับงานอาสาสมัคร
- เครือข่ายพนักงาน