Mindrift
Mindrift
Mindrift เป็นตลาดบุคลากรและแพลตฟอร์ม SaaS ด้านปัญญาประดิษฐ์ที่เชื่อมโยงผู้ร่วมงานมืออาชีพและผู้เชี่ยวชาญเฉพาะด้านกับโครงการฝึกอบรมและประเมินผล AI จากบริษัทเทคโนโลยีต่าง ๆ ในฐานะส่วนหนึ่งของ Toloka Mindrift ทำงานร่วมกับนักเขียน บรรณาธิการ ผู้เชี่ยวชาญด้าน QA นักวิทยาศาสตร์ และผู้เชี่ยวชาญเฉพาะด้านอื่น ๆ เพื่อสร้างข้อมูลฝึกอบรม ประเมินความปลอดภัยและความสามารถในการใช้เหตุผลของโมเดล ประเมินคุณภาพสื่อ และสร้างสถานการณ์จากโลกจริงเพื่อปรับปรุงประสิทธิภาพและความน่าเชื่อถือของ AI. Mindrift คัดเลือกและตรวจสอบผู้ร่วมงานผ่านการประเมินและการยืนยันตัวตน จากนั้นจึงเสนอโอกาสทำโครงการแบบรับค่าตอบแทนที่ยืดหยุ่นในงานฝึกอบรมและประเมินผล AI

วิศวกรอาวุโสด้านการขูดข้อมูลด้วย Python (ฟรีแลนซ์ ทำงานทางไกลในซาอุดีอาระเบีย)

วิศวกร Python อาวุโสผู้พัฒนาเวิร์กโฟลว์การขูดข้อมูลที่รองรับการขยายขนาดสำหรับโครงการ Tendem AI ของ Mindrift บทบาทนี้มุ่งเน้นการดึงข้อมูลเว็บที่ซับซ้อน ตรวจสอบความถูกต้อง และจัดโครงสร้างข้อมูลด้วย Python และเครื่องมืออัตโนมัติ

รายละเอียด

  • เป็นผู้นำเวิร์กโฟลว์การขูดข้อมูลเฉพาะทางสำหรับโครงการ Tendem ของ Mindrift และการใช้งานจริงของโครงการ
  • จัดการไปป์ไลน์การดึงข้อมูลตั้งแต่ต้นจนจบบนเว็บไซต์ที่ซับซ้อน
  • จัดทำชุดข้อมูลที่ครบถ้วน ถูกต้อง เชื่อถือได้ และมีโครงสร้างที่ดี
  • ใช้ Apify, OpenRouter และเวิร์กโฟลว์ที่พัฒนาขึ้นเองเพื่อเพิ่มประสิทธิภาพการรวบรวม การตรวจสอบ และการดำเนินงานตามภารกิจ
  • เก็บข้อมูลจากแหล่งข้อมูลแบบไดนามิกและโต้ตอบได้ พร้อมปรับตัวให้เข้ากับเนื้อหาที่แสดงผลด้วย JavaScript และพฤติกรรมเว็บไซต์ที่เปลี่ยนแปลง
  • รักษาคุณภาพข้อมูลด้วยการตรวจสอบความถูกต้อง การเปรียบเทียบข้อมูลจากหลายแหล่ง การควบคุมรูปแบบ และการตรวจสอบอย่างเป็นระบบ
  • ขยายการขูดข้อมูลปริมาณมากด้วยการแบ่งชุดงานอย่างมีประสิทธิภาพและการประมวลผลแบบขนาน
  • ตรวจสอบความล้มเหลวและรักษาเสถียรภาพของไปป์ไลน์เมื่อโครงสร้างเว็บไซต์มีการเปลี่ยนแปลงเล็กน้อย
  • แก้ไขปัญหาที่ซับซ้อนด้านการเขียนสคริปต์ ระบบอัตโนมัติ การดึงข้อมูล การจัดโครงสร้างข้อมูล และการตรวจสอบความถูกต้องได้ด้วยตนเอง

คุณสมบัติ

  • มีประสบการณ์ที่เกี่ยวข้องอย่างน้อย 5 ปีในด้านวิศวกรรมข้อมูล การขูดข้อมูลเว็บ ระบบอัตโนมัติ หรือการพัฒนาซอฟต์แวร์
  • มีทักษะภาษาอังกฤษระดับสูงกว่าระดับกลาง (B2) หรือสูงกว่า
  • มีประสบการณ์ขั้นสูงด้านการขูดข้อมูลด้วย Python โดยใช้ BeautifulSoup, Selenium หรือเครื่องมือเทียบเท่า รวมถึงเนื้อหาไดนามิกจาก JavaScript/AJAX การเลื่อนแบบไม่สิ้นสุด และ API ที่ใช้พร็อกซี
  • สามารถดึงข้อมูลจากโครงสร้างลำดับชั้นที่ซับซ้อน หน้าเว็บที่เก็บถาวร และ HTML ที่ไม่สอดคล้องกัน
  • มีความรู้เป็นอย่างดีด้านการทำความสะอาด การทำให้เป็นมาตรฐาน และการตรวจสอบความถูกต้องของข้อมูล
  • มีประสบการณ์จริงในการจัดการระบบป้องกันบอตและโครงสร้างเว็บไซต์ที่เปลี่ยนแปลงในระดับขนาดใหญ่
  • มีประสบการณ์กับ AWS หรือโครงสร้างพื้นฐานคลาวด์เทียบเท่า
  • มีประสบการณ์บรรจุแพ็กเกจแอปพลิเคชันด้วย Docker
  • เคยใช้งาน LangChain, OpenRouter หรือเฟรมเวิร์ก LLM ที่คล้ายกันเพื่อทำระบบอัตโนมัติ
  • ใส่ใจในรายละเอียดสูงและให้ความสำคัญอย่างมากกับความถูกต้องของข้อมูล
  • มีความกระตือรือร้นในการทำงานและมั่นใจในการแก้ไขปัญหาอย่างอิสระ
  • วุฒิปริญญาตรีหรือปริญญาโทด้านวิศวกรรม คณิตศาสตร์ประยุกต์ วิทยาการคอมพิวเตอร์ หรือสาขาเทคนิคที่เกี่ยวข้องจะได้รับการพิจารณาเป็นพิเศษ
  • มีลิงก์โปรไฟล์ GitHub จะได้รับการพิจารณาเป็นพิเศษ

สวัสดิการ

  • การทำงานฟรีแลนซ์แบบพาร์ตไทม์ที่ยืดหยุ่น
  • คาดว่าจะทำงาน 10–20 ชั่วโมงต่อสัปดาห์ในช่วงที่โครงการกำลังดำเนินอยู่
  • ค่าตอบแทนเทียบเท่าสูงสุด 37 ดอลลาร์สหรัฐต่อชั่วโมง โดยขึ้นอยู่กับระดับประสบการณ์และความเร็วในการมีส่วนร่วม
  • โอกาสมีส่วนร่วมในโครงการพัฒนา AI และเทคโนโลยีที่เป็นนวัตกรรม
  • ทำงานทางไกลได้เต็มรูปแบบ