LogoFresh Jobs Ahead
mpathic
mpathic
11 – 50 Karyawan
KonsultasiLayanan kesehatanMakanan dan minuman
mpathic mengembangkan perangkat lunak keselamatan dan analitik AI untuk memahami serta meningkatkan interaksi manusia–AI dan antarmanusia. Produk SaaS dan API-nya mendukung transkripsi ucapan ke teks, penyamaran informasi identitas pribadi, analisis perilaku dan daftar periksa, set data pembandingan, pengujian red team, serta guardrail berbasis domain melalui Observing Agent API. Perusahaan ini melayani tim di bidang layanan kesehatan, ilmu hayati, penelitian klinis, asuransi, dan perusahaan yang berupaya memperkuat empati, mengurangi bias, serta mendukung interaksi yang lebih aman dan sesuai peraturan.
LinkedIn
Lowongan Perusahaan

Penelaah Evaluasi AI/ML Kesehatan

Menelaah bukti untuk aplikasi AI kesehatan dalam evaluasi sandbox regulasi mpathic. Menilai validasi model, keandalan, perlindungan, dan pemantauan untuk penggunaan klinis.

USAmerika SerikatJarak jauhKontrakMenengahSeniorBahasa Wajib: InggrisKecerdasan buatan

Deskripsi

  • Menilai bukti teknis untuk aplikasi AI kesehatan, mencakup kinerja, validasi, generalisasi, keandalan, pemantauan, dan perlindungan.
  • Menelaah metode validasi, standar acuan, ukuran sampel, analisis statistik, metrik, ambang operasional, dan ketidakpastian.
  • Memeriksa kualitas dan keterwakilan data, termasuk kebocoran data, perbedaan antarkelompok, serta generalisasi pada berbagai kelompok pasien dan lingkungan layanan.
  • Menguji keandalan teknis, ketahanan, reproduktibilitas, mode kegagalan, dan perilaku pada masukan yang tidak lazim atau di luar distribusi.
  • Menelaah rencana evaluasi, tolok ukur, dan kriteria keberhasilan untuk penerapan uji coba.
  • Menilai perlindungan teknis, jalur eskalasi, dan proses pengawasan manusia.
  • Menelaah rencana pemantauan dan pengelolaan perubahan untuk mendeteksi penurunan kinerja, melacak perilaku model, mengelola pembaruan dan intervensi, serta menetapkan kriteria pengembalian ke versi sebelumnya.
  • Bekerja sama dengan klinisi dan spesialis teknis untuk menangani persoalan lintas disiplin.
  • Mencatat keunggulan, keterbatasan, kesenjangan bukti, dan masalah teknis menggunakan kerangka penelaahan standar.
  • Memberikan rekomendasi yang jelas dan berbasis bukti serta merinci bukti atau perubahan yang diperlukan.
  • Berpartisipasi dalam kalibrasi penelaah dan penjaminan mutu.
  • Menjaga independensi dan kerahasiaan dengan mematuhi persyaratan konflik kepentingan dan penanganan data.

Persyaratan

  • Memiliki pengalaman profesional atau riset terapan minimal tiga tahun di bidang pembelajaran mesin, ilmu data, biostatistika, informatika klinis, atau bidang terkait, termasuk pengalaman langsung mengevaluasi atau memvalidasi model prediktif atau sistem AI.
  • Memahami metode evaluasi model, termasuk metrik kinerja yang sesuai, desain validasi, ketidakpastian statistik, pemilihan ambang, serta sumber bias atau kesalahan metodologis yang umum.
  • Berpengalaman mengevaluasi kinerja model dengan data independen atau data yang disisihkan, serta menilai apakah hasilnya dapat digeneralisasi di luar dataset evaluasi.
  • Memiliki pengalaman praktis mengevaluasi setidaknya satu jenis sistem AI yang relevan, seperti NLP klinis, model bahasa besar, AI percakapan, pencitraan medis, visi komputer, atau model prediktif tabular.
  • Mampu menelaah secara kritis riset teknis, laporan evaluasi, atau studi validasi serta mengidentifikasi kelemahan metodologis atau kesimpulan yang tidak didukung bukti.
  • Memiliki kemampuan menulis analitis yang kuat dan mampu menjelaskan temuan kompleks dengan jelas kepada audiens nonteknis.
  • Mampu bekerja secara mandiri serta berkontribusi dalam penelaahan dan kalibrasi ahli multidisiplin.
  • Bersedia melengkapi perjanjian kerahasiaan, mengungkapkan konflik kepentingan, dan mengikuti pelatihan penelaah.
  • Berpengalaman mengevaluasi sistem AI atau ML di bidang kesehatan, dukungan keputusan klinis, kesehatan digital, atau lingkungan berisiko tinggi lainnya.
  • Memahami kerangka evaluasi dan pelaporan AI klinis seperti TRIPOD+AI, STARD-AI, CONSORT-AI, DECIDE-AI, atau kartu model.
  • Berpengalaman mengevaluasi AI generatif, sistem berbasis LLM, atau agen otonom, termasuk perilaku multi-giliran, keandalan, halusinasi, dan perlindungan.
  • Berpengalaman dalam pengujian ketahanan, evaluasi adversarial, red teaming, atau analisis sistematis mode kegagalan.
  • Memahami pemantauan sistem produksi, pergeseran distribusi, drift model, kontrol versi, dan pengelolaan perubahan.
  • Berpengalaman merancang atau mengevaluasi sistem human-in-the-loop atau membandingkan kinerja model dengan penilaian pakar manusia.
  • Memahami panduan FDA tentang perangkat medis berkemampuan AI, dukungan keputusan klinis, atau perangkat lunak sebagai alat kesehatan.
  • Berpengalaman melakukan penelaahan teknis independen, penelaahan sejawat ilmiah, telaah hibah, atau evaluasi teknologi formal.
  • Berpengalaman bekerja sama dengan klinisi, peneliti, atau pemangku kepentingan regulasi dalam evaluasi atau penerapan AI.

Tunjangan

  • Pekerjaan kontrak dengan pembayaran untuk setiap penelaahan.
  • Orientasi penelaah yang mencakup kerangka evaluasi dan persyaratan proyek sebelum penugasan pertama.

Lowongan Terkait

Volga Partners

Pakar Subjek Kesehatan, Evaluasi Model AI

Volga Partners
1.001 – 5.000 Karyawan
Sponsor Visa H1BB2BKecerdasan buatanPerusahaan
AUAustraliaCAKanadaGBInggris RayaINIndiaNZSelandia BaruPHFilipinaUSAmerika Serikat
$35 – $150 / jam
Jarak jauhKontrakMenengahSeniorBahasa Wajib: InggrisKecerdasan buatan

Volga Partners mencari dokter, praktisi perawat, dan asisten dokter untuk menilai akurasi klinis, penalaran, dan keamanan konten medis yang dihasilkan AI. Penugasan kontrak jarak jauh berbasis proyek bervariasi sesuai kebutuhan proyek.

Buka