
モデルテスト・測定エンジニア――米国リモート
Defcon AI は、AI システムを独立して検証するモデルテスト・測定エンジニアを募集しています。この職務では、グラウンドトゥルースの構築、モデル監査、ワークフロー測定、責任あるリリース判断のための証拠作成を担います。
仕事内容
- モデル評価用のラベル付きグラウンドトゥルースを構築する
- サンプル監査を計画・実施する
- モデルバージョンごとにリリースをゲートし、バージョン一覧、評価記録、ロールバックのトリガーを維持する
- モデルドリフトとオーバーライドの活動を確認する
- 人による監督、公平性、格差のある影響に関する証拠を作成する
- モデル構築チームから独立し、モデルの構築、しきい値の設定、評価証拠に基づくリリース承認を行わずに評価証拠を提供する
- レビュー時間、処理量、バックログの推移、オーバーライド率、手戻り率によってワークフローの改善を測定する
- サンプル選定、レビュー単位、異なる手法や検索ソース間の公平な比較について、評価段階の品質管理を確立する
- 他チームに必要な測定イベントを指定し、レビュー用ワークスペースが初回利用時からワークフローイベントを記録していることを確認する
- データサイエンティスト、AI エンジニア、技術リーダーと協働する
- 独立した評価を通じて、リリース判断、改善施策、顧客評価を支援する
応募要件
- モデル検証を明確な責任として担当した経験が 5 年以上あること
- グラウンドトゥルースの構築とサンプリング手法の設計を実務で経験していること
- Python と SQL に堪能であること
- 評価対象モデルのチームから独立して業務を遂行できること
- 米国市民権が必要
- 有効な米国 Secret クリアランス
- 業務の一部で求められるより高い人事保安要件を満たす意思があること。詳細は選考時に説明します
- 規制産業または政府におけるモデルリスクの経験
- 公平性と格差のある影響のテスト、および人による監督の記録経験
- NIST AI リスクマネジメントフレームワークまたは同等の実務に関する知識
- 有効な Top Secret クリアランス
福利厚生
- 競争力のある給与、賞与、株式報酬
- 完全リモートで成果を重視する職場環境
- 本人と家族の医療、歯科、眼科保険を会社が全額負担
- マネージャーの承認による無制限の有給休暇
- 勤務日を自律的に管理できる柔軟なスケジュール
- 14 週間の全額有給育児休暇
- 必要に応じて DEFCON AI 本社、顧客拠点、パートナー施設への出張あり
関連求人


欧州カスタマーサクセスマネージャー(リモート)— Thynk.Cloud
Thynk.CloudThynk.Cloudの欧州のホスピタリティ業界の顧客を、製品定着から更新準備まで支援します。 顧客の健全性、フィードバック、トレーニング、価値実現を管理します。
開く

Microsoft Dynamics 365 CRM プラットフォームマネージャー
Toppan Merrill$115,000 – $160,000 / 年
リモートフルタイムミドルレベルシニア必須言語:英語カスタマーサクセスカスタマーサクセスマネージャーToppan Merrill における Microsoft Dynamics 365 CRM のビジョン、ロードマップ、最適化を主導します。 金融、法務、ヘルスケア、資本市場の規制開示とコミュニケーションを支えるテクノロジーを改善します。
開く


シニアカスタマーサクセスマネージャーリード
Silaeフランスの人事・給与ソフトウェア企業Silaeで、5人のカスタマーサクセスマネージャーを率います。 製品の活用、パートナーの継続利用、チームの成果を推進します。
開く





ブラジル CRM・リテンション責任者(リモート)
iTalent PLUSブラジルのB2C iGaming市場で、CRM、ロイヤルティ、休眠顧客の再活性化を統括します。 プレイヤーのライフタイムバリュー、エンゲージメント、持続的な収益を高めます。
開く