모델 테스트 및 측정 엔지니어 - 미국 원격
Defcon AI는 AI 시스템을 독립적으로 검증할 모델 테스트 및 측정 엔지니어를 찾고 있습니다. 이 역할은 실제 정답 데이터 구축, 모델 감사, 워크플로 측정, 책임 있는 출시 결정을 위한 증거 마련을 담당합니다.
설명
- 모델 평가를 위한 라벨링된 실제 정답 데이터를 구축합니다
- 샘플 감사의 계획과 수행을 담당합니다
- 모델 버전별로 출시를 통제하고 버전 목록, 평가 기록, 롤백 트리거를 유지합니다
- 모델 드리프트와 오버라이드 활동을 검토합니다
- 인간의 감독, 공정성 및 차별적 영향에 관한 증거를 개발합니다
- 모델 구축 팀과 독립적으로 업무를 수행하며, 모델을 구축하거나 임계값을 설정하거나 해당 평가 증거를 근거로 출시를 승인하지 않고 평가 증거를 제공합니다
- 검토 시간, 처리량, 백로그 변화, 오버라이드율 및 재작업률을 통해 워크플로 개선을 측정합니다
- 샘플 선택, 검토 단위, 다양한 방법 또는 검색된 출처 간 공정한 비교를 위한 평가 단계 품질 관리 체계를 수립합니다
- 다른 팀에 필요한 측정 이벤트를 지정하고 검토 작업 공간이 최초 사용 시점부터 워크플로 이벤트를 기록하는지 확인합니다
- 데이터 과학자, AI 엔지니어 및 기술 리더십과 협업합니다
- 독립적인 평가를 통해 출시 결정, 개선 이니셔티브 및 고객 평가를 지원합니다
지원 자격
- 모델 검증을 명확한 책임으로 수행한 경력 5년 이상
- 실제 정답 데이터 구축 및 샘플링 방식 설계의 실무 경험
- Python 및 SQL 숙련도
- 평가 대상 모델을 담당하는 팀과 독립적으로 업무를 수행할 수 있는 능력
- 미국 시민권 필수
- 유효한 미국 Secret 보안 인가
- 업무 일부에 적용되는 강화된 인사 보안 요건을 충족할 의향. 구체적인 내용은 심사 과정에서 논의합니다
- 규제 산업 또는 정부 모델 리스크 관련 배경
- 공정성 및 차별적 영향 테스트와 인간의 감독 기록 경험
- NIST AI 위험 관리 프레임워크 또는 이에 준하는 관행에 대한 이해
- 유효한 Top Secret 보안 인가
복리후생
- 경쟁력 있는 급여와 보너스 및 지분 보상
- 완전 원격의 성과 중심 업무 환경
- 본인과 가족을 위한 의료, 치과 및 안과 보장 비용 전액 지원
- 관리자 승인에 따른 무제한 유급 휴가
- 근무일을 자율적으로 관리할 수 있는 유연한 일정
- 14주 전액 유급 육아휴가
- 필요에 따라 DEFCON AI 본사, 고객 현장 및 파트너 시설로 가는 간헐적 출장