The Codest เป็นบริษัทพัฒนาซอฟต์แวร์ระดับนานาชาติ มีสำนักงานใหญ่ในสหราชอาณาจักรและศูนย์เทคโนโลยีในโปแลนด์ บริษัทพัฒนาผลิตภัณฑ์ดิจิทัลและขยายทีมวิศวกรของลูกค้าด้วยนักพัฒนาที่มีประสบการณ์ด้านการพัฒนาแบ็กเอนด์และฟรอนต์เอนด์ วิศวกรรมคลาวด์ และวิศวกรรมข้อมูล The Codest ทำงานร่วมกับองค์กรขนาดใหญ่ บริษัทที่กำลังขยายธุรกิจ และผู้จำหน่ายซอฟต์แวร์ ผ่านการพัฒนาโครงการและการเสริมกำลังทีมงาน โดยมีลูกค้าในแวดวงฟินเทค อีคอมเมิร์ซ และแอดเทค
วิศวกรข้อมูล Databricks อาวุโส
สร้างแพลตฟอร์ม Databricks และไปป์ไลน์ข้อมูลจากระยะไกลในโปแลนด์ มีส่วนร่วมในแอปธนาคารสำหรับลูกค้าของกลุ่มการเงินรายใหญ่จากญี่ปุ่น
โปแลนด์zł 22,000 – zł 30,000 / เดือน
ระยะไกลเต็มเวลาระดับกลางระดับอาวุโสภาษาที่จำเป็น: อังกฤษวิศวกรข้อมูลรายละเอียด
- สร้างและดูแลแพลตฟอร์มข้อมูลและไปป์ไลน์ Databricks ที่รองรับการขยายขนาด
- ทำงานร่วมกับทีมข้ามสายงานเพื่อให้ข้อมูลที่เชื่อถือได้และเข้าถึงได้สำหรับการวิเคราะห์และข่าวกรองทางธุรกิจ
- ใช้เลเยอร์ lakehouse Bronze, Silver และ Gold เพื่อดำเนินการตามสถาปัตยกรรม Medallion
- สร้างกรอบการตรวจสอบคุณภาพข้อมูลด้วยการทดสอบอัตโนมัติและการติดตามผล
- ใช้ความสามารถในการย้อนดูข้อมูลตามเวลา การดำเนินการ vacuum และ Z-ordering ของ Delta Lake
- พัฒนาและดูแลไปป์ไลน์ ETL/ELT ที่ซับซ้อนสำหรับชุดข้อมูลขนาดใหญ่ในแต่ละวัน
- ตั้งค่าเวิร์กโฟลว์ CI/CD สำหรับไปป์ไลน์ข้อมูลด้วย Databricks Asset Bundles หรือเครื่องมือเทียบเท่า
- สร้างโซลูชันประมวลผลแบบแบตช์และเรียลไทม์ด้วย Structured Streaming และ Delta Live Tables
- ปรับปรุงประสิทธิภาพงาน Spark และความคุ้มค่าด้านต้นทุนด้วยการปรับขนาดคลัสเตอร์อัตโนมัติและการจัดการทรัพยากร
- เชื่อมต่อ Databricks API กับระบบภายนอก
- ออกแบบสถาปัตยกรรมข้อมูลที่รองรับการขยายขนาดด้วย Unity Catalog, Delta Lake และ Apache Spark
- สร้างสถาปัตยกรรม data mesh พร้อมการกำกับดูแลและการติดตามสายที่มาของข้อมูล
- มีส่วนร่วมในแอปธนาคารสำหรับลูกค้าของกลุ่มการเงินชั้นนำในญี่ปุ่น
คุณสมบัติ
- มีประสบการณ์ด้านวิศวกรรมข้อมูลอย่างน้อยหกปี
- มีผลงานโดดเด่นในการออกแบบและนำไปป์ไลน์ข้อมูลและเวิร์กโฟลว์ ETL/ELT ระดับพร้อมใช้งานจริงไปใช้งาน
- เชี่ยวชาญ Python, PySpark และ SQL
- มีประสบการณ์ปฏิบัติงานจริงอย่างกว้างขวางกับ AWS Glue, Lambda, Redshift และ S3
- รู้จักเครื่องมือกำกับดูแลและจัดการข้อมูล รวมถึง Unity Catalog และ AWS SageMaker Unified Studio
- มีประสบการณ์ด้านการย้ายข้อมูลและปรับปรุงระบบเดิมให้ทันสมัย
- สื่อสารภาษาอังกฤษได้อย่างมีประสิทธิภาพ
- การมีใบรับรอง Databricks Certified Professional Data Engineer หรือเทียบเท่าจะเป็นข้อได้เปรียบ
- การมีประสบการณ์กับเครื่องมือคอนเทนเนอร์และจัดการลำดับงาน เช่น Docker และ Kubernetes ถือเป็นข้อได้เปรียบ
สวัสดิการ
- ทำงานในสภาพแวดล้อมที่ร่วมมือกันและมีส่วนร่วม
- มีโอกาสเติบโตในสายอาชีพ
- มีส่วนร่วมในโครงการแอปธนาคารระดับนานาชาติ
- ทำงานจากระยะไกล