
Mindrift เป็นตลาดบุคลากรและแพลตฟอร์ม SaaS ด้านปัญญาประดิษฐ์ที่เชื่อมโยงผู้ร่วมงานมืออาชีพและผู้เชี่ยวชาญเฉพาะด้านกับโครงการฝึกอบรมและประเมินผล AI จากบริษัทเทคโนโลยีต่าง ๆ ในฐานะส่วนหนึ่งของ Toloka Mindrift ทำงานร่วมกับนักเขียน บรรณาธิการ ผู้เชี่ยวชาญด้าน QA นักวิทยาศาสตร์ และผู้เชี่ยวชาญเฉพาะด้านอื่น ๆ เพื่อสร้างข้อมูลฝึกอบรม ประเมินความปลอดภัยและความสามารถในการใช้เหตุผลของโมเดล ประเมินคุณภาพสื่อ และสร้างสถานการณ์จากโลกจริงเพื่อปรับปรุงประสิทธิภาพและความน่าเชื่อถือของ AI. Mindrift คัดเลือกและตรวจสอบผู้ร่วมงานผ่านการประเมินและการยืนยันตัวตน จากนั้นจึงเสนอโอกาสทำโครงการแบบรับค่าตอบแทนที่ยืดหยุ่นในงานฝึกอบรมและประเมินผล AI
วิศวกรอาวุโสด้านการขูดข้อมูลด้วย Python (ฟรีแลนซ์ ทำงานทางไกลในซาอุดีอาระเบีย)
วิศวกร Python อาวุโสผู้พัฒนาเวิร์กโฟลว์การขูดข้อมูลที่รองรับการขยายขนาดสำหรับโครงการ Tendem AI ของ Mindrift บทบาทนี้มุ่งเน้นการดึงข้อมูลเว็บที่ซับซ้อน ตรวจสอบความถูกต้อง และจัดโครงสร้างข้อมูลด้วย Python และเครื่องมืออัตโนมัติ
รายละเอียด
- เป็นผู้นำเวิร์กโฟลว์การขูดข้อมูลเฉพาะทางสำหรับโครงการ Tendem ของ Mindrift และการใช้งานจริงของโครงการ
- จัดการไปป์ไลน์การดึงข้อมูลตั้งแต่ต้นจนจบบนเว็บไซต์ที่ซับซ้อน
- จัดทำชุดข้อมูลที่ครบถ้วน ถูกต้อง เชื่อถือได้ และมีโครงสร้างที่ดี
- ใช้ Apify, OpenRouter และเวิร์กโฟลว์ที่พัฒนาขึ้นเองเพื่อเพิ่มประสิทธิภาพการรวบรวม การตรวจสอบ และการดำเนินงานตามภารกิจ
- เก็บข้อมูลจากแหล่งข้อมูลแบบไดนามิกและโต้ตอบได้ พร้อมปรับตัวให้เข้ากับเนื้อหาที่แสดงผลด้วย JavaScript และพฤติกรรมเว็บไซต์ที่เปลี่ยนแปลง
- รักษาคุณภาพข้อมูลด้วยการตรวจสอบความถูกต้อง การเปรียบเทียบข้อมูลจากหลายแหล่ง การควบคุมรูปแบบ และการตรวจสอบอย่างเป็นระบบ
- ขยายการขูดข้อมูลปริมาณมากด้วยการแบ่งชุดงานอย่างมีประสิทธิภาพและการประมวลผลแบบขนาน
- ตรวจสอบความล้มเหลวและรักษาเสถียรภาพของไปป์ไลน์เมื่อโครงสร้างเว็บไซต์มีการเปลี่ยนแปลงเล็กน้อย
- แก้ไขปัญหาที่ซับซ้อนด้านการเขียนสคริปต์ ระบบอัตโนมัติ การดึงข้อมูล การจัดโครงสร้างข้อมูล และการตรวจสอบความถูกต้องได้ด้วยตนเอง
คุณสมบัติ
- มีประสบการณ์ที่เกี่ยวข้องอย่างน้อย 5 ปีในด้านวิศวกรรมข้อมูล การขูดข้อมูลเว็บ ระบบอัตโนมัติ หรือการพัฒนาซอฟต์แวร์
- มีทักษะภาษาอังกฤษระดับสูงกว่าระดับกลาง (B2) หรือสูงกว่า
- มีประสบการณ์ขั้นสูงด้านการขูดข้อมูลด้วย Python โดยใช้ BeautifulSoup, Selenium หรือเครื่องมือเทียบเท่า รวมถึงเนื้อหาไดนามิกจาก JavaScript/AJAX การเลื่อนแบบไม่สิ้นสุด และ API ที่ใช้พร็อกซี
- สามารถดึงข้อมูลจากโครงสร้างลำดับชั้นที่ซับซ้อน หน้าเว็บที่เก็บถาวร และ HTML ที่ไม่สอดคล้องกัน
- มีความรู้เป็นอย่างดีด้านการทำความสะอาด การทำให้เป็นมาตรฐาน และการตรวจสอบความถูกต้องของข้อมูล
- มีประสบการณ์จริงในการจัดการระบบป้องกันบอตและโครงสร้างเว็บไซต์ที่เปลี่ยนแปลงในระดับขนาดใหญ่
- มีประสบการณ์กับ AWS หรือโครงสร้างพื้นฐานคลาวด์เทียบเท่า
- มีประสบการณ์บรรจุแพ็กเกจแอปพลิเคชันด้วย Docker
- เคยใช้งาน LangChain, OpenRouter หรือเฟรมเวิร์ก LLM ที่คล้ายกันเพื่อทำระบบอัตโนมัติ
- ใส่ใจในรายละเอียดสูงและให้ความสำคัญอย่างมากกับความถูกต้องของข้อมูล
- มีความกระตือรือร้นในการทำงานและมั่นใจในการแก้ไขปัญหาอย่างอิสระ
- วุฒิปริญญาตรีหรือปริญญาโทด้านวิศวกรรม คณิตศาสตร์ประยุกต์ วิทยาการคอมพิวเตอร์ หรือสาขาเทคนิคที่เกี่ยวข้องจะได้รับการพิจารณาเป็นพิเศษ
- มีลิงก์โปรไฟล์ GitHub จะได้รับการพิจารณาเป็นพิเศษ
สวัสดิการ
- การทำงานฟรีแลนซ์แบบพาร์ตไทม์ที่ยืดหยุ่น
- คาดว่าจะทำงาน 10–20 ชั่วโมงต่อสัปดาห์ในช่วงที่โครงการกำลังดำเนินอยู่
- ค่าตอบแทนเทียบเท่าสูงสุด 37 ดอลลาร์สหรัฐต่อชั่วโมง โดยขึ้นอยู่กับระดับประสบการณ์และความเร็วในการมีส่วนร่วม
- โอกาสมีส่วนร่วมในโครงการพัฒนา AI และเทคโนโลยีที่เป็นนวัตกรรม
- ทำงานทางไกลได้เต็มรูปแบบ