Mindrift เป็นตลาดบุคลากรและแพลตฟอร์ม SaaS ด้านปัญญาประดิษฐ์ที่เชื่อมโยงผู้ร่วมงานมืออาชีพและผู้เชี่ยวชาญเฉพาะด้านกับโครงการฝึกอบรมและประเมินผล AI จากบริษัทเทคโนโลยีต่าง ๆ ในฐานะส่วนหนึ่งของ Toloka Mindrift ทำงานร่วมกับนักเขียน บรรณาธิการ ผู้เชี่ยวชาญด้าน QA นักวิทยาศาสตร์ และผู้เชี่ยวชาญเฉพาะด้านอื่น ๆ เพื่อสร้างข้อมูลฝึกอบรม ประเมินความปลอดภัยและความสามารถในการใช้เหตุผลของโมเดล ประเมินคุณภาพสื่อ และสร้างสถานการณ์จากโลกจริงเพื่อปรับปรุงประสิทธิภาพและความน่าเชื่อถือของ AI. Mindrift คัดเลือกและตรวจสอบผู้ร่วมงานผ่านการประเมินและการยืนยันตัวตน จากนั้นจึงเสนอโอกาสทำโครงการแบบรับค่าตอบแทนที่ยืดหยุ่นในงานฝึกอบรมและประเมินผล AI
วิศวกรอาวุโสด้านการดึงข้อมูลเว็บด้วย Python — ทำงานทางไกลจากอินเดีย
วิศวกร Python อาวุโสผู้รับผิดชอบการสร้างเวิร์กโฟลว์การดึงข้อมูลที่เชื่อถือได้สำหรับโครงการ Tendem AI ของ Mindrift บทบาทนี้มุ่งเน้นการดึง ตรวจสอบ และขยายขนาดข้อมูลที่มีโครงสร้างจากเว็บไซต์ที่ซับซ้อนและเปลี่ยนแปลงได้
รายละเอียด
- จัดการเวิร์กโฟลว์การดึงข้อมูลตั้งแต่ต้นจนจบจากเว็บไซต์ที่ซับซ้อน โดยรักษาความครอบคลุม ความถูกต้อง และการส่งมอบชุดข้อมูลที่มีโครงสร้างอย่างเชื่อถือได้
- ใช้เครื่องมือที่มีอยู่และเวิร์กโฟลว์ที่ปรับให้เหมาะสมเพื่อพัฒนาการเก็บรวบรวมข้อมูล การตรวจสอบข้อมูล และการดำเนินงานให้ดีขึ้น พร้อมปฏิบัติตามข้อกำหนดที่กำหนดไว้
- ดึงข้อมูลจากแหล่งข้อมูลแบบไดนามิกและโต้ตอบได้อย่างน่าเชื่อถือ โดยปรับให้เข้ากับเนื้อหาที่เรนเดอร์ด้วย JavaScript และพฤติกรรมของเว็บไซต์ที่เปลี่ยนแปลงอยู่เสมอ
- รักษาคุณภาพข้อมูลด้วยการตรวจสอบความถูกต้อง การเปรียบเทียบข้อมูลจากหลายแหล่ง การควบคุมรูปแบบ และการตรวจทานอย่างเป็นระบบก่อนส่งมอบ
- ขยายการดึงข้อมูลปริมาณมากด้วยเทคนิคการประมวลผลแบบแบ่งชุดและแบบขนานที่มีประสิทธิภาพ
- ติดตามความล้มเหลวในการดึงข้อมูลและรักษาเสถียรภาพของเวิร์กโฟลว์เมื่อโครงสร้างเว็บไซต์มีการเปลี่ยนแปลงเล็กน้อย
- ประยุกต์ใช้ความเชี่ยวชาญด้านการดึงข้อมูลเว็บ การสกัดข้อมูล และการประมวลผลข้อมูลกับกรณีใช้งานจริงภายในโครงการ Tendem
คุณสมบัติ
- มีประสบการณ์ที่เกี่ยวข้องอย่างน้อย 5 ปีในด้านวิศวกรรมข้อมูล การดึงข้อมูลเว็บ ระบบอัตโนมัติ หรือการพัฒนาซอฟต์แวร์
- มีประสบการณ์ด้านการดึงข้อมูลด้วย Python อย่างแข็งแกร่ง โดยใช้ BeautifulSoup, Selenium หรือเครื่องมือเทียบเท่า รวมถึง JavaScript, AJAX, infinite scroll และการเข้าถึง API ผ่านพร็อกซี
- สามารถดึงข้อมูลจากโครงสร้างที่ซับซ้อน เช่น โครงสร้างลำดับชั้น หน้าเว็บที่จัดเก็บถาวร และ HTML ที่ไม่สอดคล้องกัน
- มีประสบการณ์เชิงปฏิบัติในการทำความสะอาด ทำให้เป็นมาตรฐาน และตรวจสอบข้อมูลเพื่อส่งมอบในรูปแบบ CSV, JSON หรือ Google Sheets
- มีประสบการณ์จัดการมาตรการป้องกันบอตและโครงสร้างเว็บไซต์ที่เปลี่ยนแปลงในเวิร์กโฟลว์การดึงข้อมูลขนาดใหญ่
- มีประสบการณ์ปฏิบัติงานกับ AWS หรือโครงสร้างพื้นฐานคลาวด์เทียบเท่า และการทำคอนเทนเนอร์ด้วย Docker ในเวิร์กโฟลว์สำหรับใช้งานจริง
- มีประสบการณ์ประยุกต์ใช้เฟรมเวิร์ก LLM เช่น LangChain, OpenRouter หรือเครื่องมือที่คล้ายกันกับงานระบบอัตโนมัติ
- ใส่ใจในรายละเอียดสูงและให้ความสำคัญกับความถูกต้องของข้อมูลอย่างสม่ำเสมอ
- สามารถทำงานได้อย่างอิสระ ตรวจสอบปัญหา และแก้ไขข้อผิดพลาดได้อย่างมีประสิทธิภาพ
- มีทักษะภาษาอังกฤษระดับสูงกว่าปานกลางที่ระดับ B2 ขึ้นไป
สวัสดิการ
- การทำงานในรูปแบบฟรีแลนซ์
- ทำงานทางไกลแบบพาร์ตไทม์จากอินเดีย
- ประมาณ 10–20 ชั่วโมงต่อสัปดาห์ในช่วงที่โครงการกำลังดำเนินการ