Mindrift เป็นตลาดบุคลากรและแพลตฟอร์ม SaaS ด้านปัญญาประดิษฐ์ที่เชื่อมโยงผู้ร่วมงานมืออาชีพและผู้เชี่ยวชาญเฉพาะด้านกับโครงการฝึกอบรมและประเมินผล AI จากบริษัทเทคโนโลยีต่าง ๆ ในฐานะส่วนหนึ่งของ Toloka Mindrift ทำงานร่วมกับนักเขียน บรรณาธิการ ผู้เชี่ยวชาญด้าน QA นักวิทยาศาสตร์ และผู้เชี่ยวชาญเฉพาะด้านอื่น ๆ เพื่อสร้างข้อมูลฝึกอบรม ประเมินความปลอดภัยและความสามารถในการใช้เหตุผลของโมเดล ประเมินคุณภาพสื่อ และสร้างสถานการณ์จากโลกจริงเพื่อปรับปรุงประสิทธิภาพและความน่าเชื่อถือของ AI. Mindrift คัดเลือกและตรวจสอบผู้ร่วมงานผ่านการประเมินและการยืนยันตัวตน จากนั้นจึงเสนอโอกาสทำโครงการแบบรับค่าตอบแทนที่ยืดหยุ่นในงานฝึกอบรมและประเมินผล AI
วิศวกรอาวุโสด้านการดึงข้อมูลด้วย Python — ฟรีแลนซ์ ทำงานทางไกลจากโปแลนด์
Mindrift กำลังมองหาวิศวกร Python ระดับอาวุโสเพื่อสร้างกระบวนการดึงข้อมูลจากเว็บไซต์ที่เชื่อถือได้สำหรับโครงการ AI บทบาทนี้มุ่งเน้นการดึง ตรวจสอบ และประมวลผลข้อมูลที่มีโครงสร้างจากเว็บไซต์ที่ซับซ้อนและมีการเปลี่ยนแปลงแบบไดนามิก
รายละเอียด
- ดูแลกระบวนการดึงข้อมูลทั้งหมดจากเว็บไซต์ที่ซับซ้อน
- ส่งมอบชุดข้อมูลที่มีโครงสร้างครบถ้วน ถูกต้อง และเชื่อถือได้
- ใช้เครื่องมือและกระบวนการที่ปรับให้เหมาะสมเพื่อเร่งการรวบรวม การตรวจสอบ และการดำเนินงาน
- ดึงข้อมูลจากแหล่งข้อมูลบนเว็บที่มีการโต้ตอบและเปลี่ยนแปลงแบบไดนามิกได้อย่างน่าเชื่อถือ
- ปรับวิธีการดึงข้อมูลให้เหมาะกับเนื้อหาที่เรนเดอร์ด้วย JavaScript และพฤติกรรมเว็บไซต์ที่เปลี่ยนแปลงอยู่เสมอ
- รักษาคุณภาพข้อมูลด้วยการตรวจสอบ การเปรียบเทียบข้ามแหล่งข้อมูล มาตรฐานการจัดรูปแบบ และการทบทวนอย่างเป็นระบบ
- จัดการการดึงข้อมูลในปริมาณมากด้วยการแบ่งชุดงานและการประมวลผลแบบขนานอย่างมีประสิทธิภาพ
- ติดตามความล้มเหลวในการดึงข้อมูลและรักษาเสถียรภาพเมื่อโครงสร้างเว็บไซต์เปลี่ยนแปลงเล็กน้อย
- ใช้ Apify, OpenRouter และเทคโนโลยีที่เกี่ยวข้องในการดึงข้อมูลจากเว็บและประมวลผลข้อมูล
คุณสมบัติ
- มีประสบการณ์ที่เกี่ยวข้องอย่างน้อย 5 ปีในด้านวิศวกรรมข้อมูล การดึงข้อมูลจากเว็บ ระบบอัตโนมัติ หรือการพัฒนาซอฟต์แวร์
- วุฒิปริญญาตรีหรือปริญญาโทด้านวิศวกรรม คณิตศาสตร์ประยุกต์ วิทยาการคอมพิวเตอร์ หรือสาขาเทคนิคที่เกี่ยวข้องจะได้รับการพิจารณาเป็นพิเศษ
- มีพื้นฐานเชิงปฏิบัติที่แข็งแกร่งด้านสคริปต์ ระบบอัตโนมัติ และกระบวนการดึงข้อมูล
- มีประสบการณ์ขั้นสูงด้านการดึงข้อมูลด้วย Python โดยใช้ BeautifulSoup, Selenium หรือเครื่องมือเทียบเท่า รวมถึงเนื้อหา JavaScript และ AJAX การเลื่อนแบบไม่สิ้นสุด และ API ที่ใช้พร็อกซี
- สามารถดึงข้อมูลจากโครงสร้างลำดับชั้นที่ซับซ้อน หน้าที่เก็บถาวร และ HTML ที่ไม่สม่ำเสมอ
- มีประสบการณ์ทำความสะอาด ปรับมาตรฐาน และตรวจสอบข้อมูลเพื่อส่งมอบในรูปแบบ CSV, JSON และ Google Sheets
- มีประสบการณ์ทำงานกับระบบป้องกันบอตและโครงสร้างเว็บไซต์ที่เปลี่ยนแปลงในระดับขนาดใหญ่
- มีประสบการณ์เชิงปฏิบัติในการใช้ AWS หรือโครงสร้างพื้นฐานคลาวด์เทียบเท่า รวมถึง Docker ในกระบวนการผลิต
- เคยใช้งาน LangChain, OpenRouter หรือเฟรมเวิร์ก LLM ที่คล้ายกันเพื่อทำระบบอัตโนมัติ
- ใส่ใจในรายละเอียดสูงและให้ความสำคัญกับความถูกต้องของข้อมูล
- ทำงานได้อย่างอิสระ พร้อมความสามารถในการตรวจสอบและแก้ไขปัญหาโดยไม่ต้องมีผู้ควบคุมดูแลอย่างใกล้ชิด
- มีทักษะภาษาอังกฤษระดับกลางค่อนข้างสูง (B2) หรือสูงกว่า
- มีโปรไฟล์ GitHub จะได้รับการพิจารณาเป็นพิเศษ
สวัสดิการ
- การร่วมงานแบบฟรีแลนซ์ตามโครงการ
- งานพาร์ตไทม์ประมาณ 10–20 ชั่วโมงต่อสัปดาห์ในช่วงที่โครงการกำลังดำเนินอยู่
- ทำงานทางไกลจากโปแลนด์
- ค่าตอบแทนสูงสุดเทียบเท่า 40 ดอลลาร์สหรัฐต่อชั่วโมง ขึ้นอยู่กับระดับประสบการณ์และความเร็วในการมีส่วนร่วม