ผู้ตรวจสอบคุณภาพการติดป้ายกำกับข้อมูล AI
Gramian Consulting
รับผิดชอบการตรวจสอบคุณภาพข้อมูลฝึก AI ที่ Gramian Consulting กำกับดูแลผู้ตรวจสอบ งานตรวจประเมิน การให้ข้อเสนอแนะ การฝึกอบรม และการปรับปรุงกระบวนการของทีมโครงการทางไกล
เปิด
mpathic พัฒนาซอฟต์แวร์ด้านความปลอดภัยและการวิเคราะห์ AI เพื่อทำความเข้าใจและปรับปรุงปฏิสัมพันธ์ระหว่างมนุษย์กับ AI รวมถึงระหว่างมนุษย์ด้วยกัน ผลิตภัณฑ์ SaaS และ API ของบริษัทรองรับการถอดเสียงพูดเป็นข้อความ การลบข้อมูลส่วนบุคคลที่สามารถระบุตัวตนได้ การวิเคราะห์พฤติกรรมและรายการตรวจสอบ ชุดข้อมูลสำหรับการเปรียบเทียบ การทดสอบแบบเรดทีม และกลไกป้องกันที่อ้างอิงตามบริบทของแต่ละสาขาผ่าน Observing Agent API บริษัทให้บริการแก่ทีมในภาคสาธารณสุข วิทยาศาสตร์ชีวภาพ การวิจัยทางคลินิก ประกันภัย และองค์กรต่าง ๆ เพื่อเสริมสร้างความเข้าอกเข้าใจ ลดอคติ และสนับสนุนปฏิสัมพันธ์ที่ปลอดภัยและสอดคล้องตามข้อกำหนดมากยิ่งขึ้น
ผู้ประเมินการประเมิน AI/ML ด้านสุขภาพ
ทบทวนหลักฐานของการประยุกต์ใช้ AI ด้านสุขภาพในการประเมินภายใต้แซนด์บ็อกซ์ด้านกฎระเบียบของ mpathic ประเมินการตรวจสอบความถูกต้องของโมเดล ความน่าเชื่อถือ มาตรการป้องกัน และการติดตามเมื่อใช้ทางคลินิก
รายละเอียด
- ประเมินหลักฐานทางเทคนิคของการประยุกต์ใช้ AI ด้านสุขภาพ ครอบคลุมประสิทธิภาพ การตรวจสอบความถูกต้อง ความสามารถในการใช้กับกรณีทั่วไป ความน่าเชื่อถือ การติดตาม และมาตรการป้องกัน
- ทบทวนวิธีการตรวจสอบความถูกต้อง มาตรฐานอ้างอิง ขนาดตัวอย่าง การวิเคราะห์ทางสถิติ ตัวชี้วัด เกณฑ์การใช้งาน และความไม่แน่นอน
- ตรวจสอบคุณภาพและความเป็นตัวแทนของข้อมูล รวมถึงการรั่วไหลของข้อมูล ความแตกต่างระหว่างกลุ่มย่อย และความสามารถในการใช้กับกลุ่มผู้ป่วยและบริบทการดูแลที่หลากหลาย
- ทดสอบความน่าเชื่อถือทางเทคนิค ความทนทาน การทำซ้ำได้ รูปแบบความล้มเหลว และพฤติกรรมต่อข้อมูลนำเข้าที่ผิดปกติหรืออยู่นอกการกระจาย
- ทบทวนแผนการประเมิน เกณฑ์เปรียบเทียบ และเกณฑ์ความสำเร็จสำหรับการนำร่องใช้งาน
- ประเมินมาตรการป้องกันทางเทคนิค แนวทางการส่งต่อเพื่อยกระดับ และกระบวนการกำกับดูแลโดยมนุษย์
- ทบทวนแผนการติดตามและการจัดการการเปลี่ยนแปลง เพื่อค้นหาประสิทธิภาพที่ลดลง ติดตามพฤติกรรมของโมเดล จัดการการอัปเดตและการแทรกแซง ตลอดจนกำหนดเกณฑ์การย้อนกลับ
- ทำงานร่วมกับแพทย์และผู้เชี่ยวชาญด้านเทคนิคเพื่อจัดการประเด็นที่เกี่ยวข้องกับหลายสาขา
- บันทึกจุดแข็ง ข้อจำกัด ช่องว่างของหลักฐาน และข้อกังวลทางเทคนิคตามกรอบการทบทวนมาตรฐาน
- ให้คำแนะนำที่ชัดเจนและอิงหลักฐาน พร้อมระบุหลักฐานหรือการเปลี่ยนแปลงที่จำเป็น
- เข้าร่วมการปรับเทียบผู้ประเมินและการประกันคุณภาพ
- รักษาความเป็นอิสระและการรักษาความลับ โดยปฏิบัติตามข้อกำหนดเรื่องผลประโยชน์ทับซ้อนและการจัดการข้อมูล
คุณสมบัติ
- มีประสบการณ์ทำงานระดับวิชาชีพหรือทำวิจัยประยุกต์อย่างน้อยสามปีในด้านแมชชีนเลิร์นนิง วิทยาการข้อมูล ชีวสถิติ สารสนเทศศาสตร์คลินิก หรือสาขาที่เกี่ยวข้อง โดยมีประสบการณ์ตรงในการประเมินหรือตรวจสอบความถูกต้องของโมเดลพยากรณ์หรือระบบ AI
- เข้าใจวิธีการประเมินโมเดล รวมถึงตัวชี้วัดประสิทธิภาพที่เหมาะสม การออกแบบการตรวจสอบความถูกต้อง ความไม่แน่นอนทางสถิติ การเลือกเกณฑ์ตัดสิน และแหล่งที่มาทั่วไปของอคติหรือข้อผิดพลาดด้านระเบียบวิธี
- มีประสบการณ์ประเมินประสิทธิภาพของโมเดลด้วยข้อมูลอิสระหรือข้อมูลที่กันไว้สำหรับทดสอบ และพิจารณาว่าผลลัพธ์นำไปใช้ได้ทั่วไปนอกชุดข้อมูลประเมินหรือไม่
- มีประสบการณ์ภาคปฏิบัติในการประเมินระบบ AI ที่เกี่ยวข้องอย่างน้อยหนึ่งประเภท เช่น NLP ทางคลินิก โมเดลภาษาขนาดใหญ่ AI สนทนา ภาพทางการแพทย์ คอมพิวเตอร์วิทัศน์ หรือโมเดลพยากรณ์ข้อมูลแบบตาราง
- สามารถทบทวนงานวิจัยทางเทคนิค รายงานการประเมิน หรือการศึกษาการตรวจสอบความถูกต้องอย่างมีวิจารณญาณ และระบุจุดอ่อนด้านระเบียบวิธีหรือข้อสรุปที่ไม่มีหลักฐานรองรับ
- มีทักษะการเขียนเชิงวิเคราะห์ที่ดี และอธิบายข้อค้นพบที่ซับซ้อนให้ผู้ฟังที่ไม่มีพื้นฐานด้านเทคนิคเข้าใจได้อย่างชัดเจน
- ทำงานได้อย่างอิสระและมีส่วนร่วมในการทบทวนและปรับเทียบโดยผู้เชี่ยวชาญจากหลายสาขา
- ยินดีจัดทำข้อตกลงการรักษาความลับ การเปิดเผยผลประโยชน์ทับซ้อน และเข้ารับการฝึกอบรมผู้ประเมิน
- มีประสบการณ์ประเมินระบบ AI หรือ ML ในด้านสุขภาพ ระบบสนับสนุนการตัดสินใจทางคลินิก สุขภาพดิจิทัล หรือบริบทที่มีความเสี่ยงสูงอื่น ๆ
- คุ้นเคยกับกรอบการประเมินและการรายงาน AI ทางคลินิก เช่น TRIPOD+AI, STARD-AI, CONSORT-AI, DECIDE-AI หรือการ์ดโมเดล
- มีประสบการณ์ประเมิน AI เชิงสร้างสรรค์ ระบบที่ใช้ LLM หรือตัวแทนอัตโนมัติ รวมถึงพฤติกรรมหลายรอบการโต้ตอบ ความน่าเชื่อถือ การหลอนข้อมูล และมาตรการป้องกัน
- มีประสบการณ์ทดสอบความทนทาน การประเมินเชิงโจมตี การทดสอบแบบเรดทีม หรือการวิเคราะห์รูปแบบความล้มเหลวอย่างเป็นระบบ
- มีความรู้เกี่ยวกับการติดตามระบบในสภาพแวดล้อมใช้งานจริง การเปลี่ยนแปลงการกระจายข้อมูล โมเดลดริฟต์ การควบคุมเวอร์ชัน และการจัดการการเปลี่ยนแปลง
- มีประสบการณ์ออกแบบหรือประเมินระบบที่มีมนุษย์ร่วมในวงจรการทำงาน หรือเปรียบเทียบประสิทธิภาพโมเดลกับการตัดสินของผู้เชี่ยวชาญ
- คุ้นเคยกับแนวทางของ FDA เกี่ยวกับอุปกรณ์การแพทย์ที่ใช้ AI ระบบสนับสนุนการตัดสินใจทางคลินิก หรือซอฟต์แวร์ในฐานะอุปกรณ์การแพทย์
- มีประสบการณ์ทบทวนทางเทคนิคอย่างเป็นอิสระ ประเมินบทความวิชาการ ประเมินข้อเสนอโครงการทุน หรือประเมินเทคโนโลยีอย่างเป็นทางการ
- มีประสบการณ์ทำงานร่วมกับแพทย์ นักวิจัย หรือผู้มีส่วนเกี่ยวข้องด้านกฎระเบียบในการประเมินหรือนำ AI ไปใช้งาน
สวัสดิการ
- งานตามสัญญา โดยจ่ายค่าตอบแทนต่อการทบทวนแต่ละครั้ง
- มีการปฐมนิเทศผู้ประเมินเกี่ยวกับกรอบการประเมินและข้อกำหนดของโครงการก่อนรับงานชิ้นแรก
งานที่เกี่ยวข้อง
ผู้เชี่ยวชาญด้านความปลอดภัย AI ภาษาอังกฤษ
Mercor51 – 200 พนักงาน
ตรวจสอบบทสนทนาภาษาอังกฤษและประเมินคำตอบของ AI ให้กับ Mercor ใช้แนวทางของโครงการและให้ข้อเสนอแนะอย่างเป็นระบบเพื่อสนับสนุนการฝึกระบบ AI ขั้นแนวหน้า
เปิด
ผู้เข้าร่วมวิจัยความคิดเห็นผู้ใช้ผู้ช่วย AI ทางไกล
Mercor51 – 200 พนักงาน
สหรัฐอเมริกา$30 – $35 / ชั่วโมง
ระยะไกลสัญญาจ้างระดับกลางระดับอาวุโสภาษาที่จำเป็น: อังกฤษปัญญาประดิษฐ์ใช้ Meta Muse หรือ Instinct และให้คะแนนข้อความเชิงรุกของผู้ช่วยในการศึกษาฝึก AI ของ Mercor ส่งบทสนทนารายสัปดาห์หลังจากลบข้อมูลส่วนบุคคลแล้ว
เปิด
ผู้ใส่คำอธิบายประกอบข้อมูลภาษาจีนกวางตุ้ง
Sigma AIทำงานทางไกลในรูปแบบฟรีแลนซ์กับโครงการเก็บรวบรวมข้อมูลของ Sigma AI ในฐานะผู้ใส่คำอธิบายประกอบภาษากวางตุ้ง–อังกฤษ งานประกอบด้วยการใส่คำอธิบายประกอบ การถอดเสียง การตรวจสอบความถูกต้อง และการบันทึกเสียง
เปิด
ผู้เชี่ยวชาญด้านการแพทย์เพื่อประเมินโมเดล AI
Volga Partners
ออสเตรเลีย
แคนาดา
สหราชอาณาจักร
อินเดีย
นิวซีแลนด์
ฟิลิปปินส์สหรัฐอเมริกา$35 – $150 / ชั่วโมง
ระยะไกลสัญญาจ้างระดับกลางระดับอาวุโสภาษาที่จำเป็น: อังกฤษปัญญาประดิษฐ์Volga Partners กำลังมองหาแพทย์ พยาบาลเวชปฏิบัติ และผู้ช่วยแพทย์ เพื่อประเมินความถูกต้องทางคลินิก การให้เหตุผล และความปลอดภัยของเนื้อหาทางการแพทย์ที่สร้างโดย AI เป็นงานสัญญาจ้างทางไกลตามโครงการ โดยปริมาณงานขึ้นอยู่กับความต้องการของแต่ละโครงการ
เปิด