계약직 학생 AI 검증 및 벤치마킹 엔지니어
AI 에이전트의 정확도를 평가하고 벤치마킹용 데이터셋을 구축합니다. Python 도구와 분석을 활용해 Zoox의 자율주행 로보택시 기술을 지원합니다.
설명
- AI 도구의 엔드투엔드 검증 파이프라인에 기여합니다.
- 테스트 데이터셋을 유지 관리합니다.
- 벤치마크 파이프라인을 운영하고 결과를 분석해 에이전트 버전별 라우팅 오류와 성능 저하를 찾아냅니다.
- 검증된 정답과 에이전트 출력을 비교할 수 있도록 정답 데이터셋을 만들고 확장합니다.
- 벤치마크 검증의 부족한 점을 찾아 평가 인프라를 강화하는 데 기여합니다.
- 레이블 정확도와 구조화된 출력의 정확성 등을 포함한 평가 지표를 정의합니다.
- 에이전트 출력 실패를 조사하고 엔지니어와 협력해 실용적인 개선 방안을 찾습니다.
- 데이터 수집, 결과 분석, 지표 보고를 자동화하는 스크립트와 도구를 구축합니다.
- 조사 결과를 기록하고 벤치마크 추세를 살펴 팀과 공유합니다.
- 자율주행 기술을 개발하는 엔지니어 및 연구원과 협력합니다.
지원 자격
- 현재 컴퓨터 과학, 데이터 과학, 공학 또는 관련 분야의 학사 또는 석사 과정에 재학 중이어야 합니다.
- 최소 3개월 동안 업무를 수행할 수 있어야 합니다.
- 주당 20시간 이상 근무할 수 있어야 합니다.
- 회사 사무실 중 한 곳에서 대면 근무할 수 있어야 합니다.
- 학술 연구, 논문, 출판물 또는 발표를 위해 Zoox 외부에서 회사 독점 정보를 사용하거나 공유하지 않는 것을 포함해 Zoox의 기밀 유지 규칙을 준수해야 합니다.
- Cursor 또는 Claude를 사용해 본 경험이 있어야 합니다.
- Python을 사용해 본 경험이 있어야 합니다.
- 정밀도, 재현율, F1 점수, 혼동 행렬 등의 평가 지표를 이해해야 합니다.
- CSV 및 JSON과 같은 구조화 데이터 형식을 다룰 수 있어야 합니다.
- 재현 가능한 분석 스크립트를 작성하거나 수정한 경험이 있어야 합니다.
- LLM 기반 시스템, 프롬프트 엔지니어링 또는 AI 에이전트 평가를 접한 경험이 있어야 합니다.
- Jira 또는 Slack과 같은 티켓 관리나 메시지 도구를 사용한 경험이 있어야 합니다.
복리후생
- 학업과 병행하면서 지속적으로 의미 있는 업무를 수행할 수 있습니다.
- 새로운 기술을 배우고 역량을 키울 기회가 있습니다.
- 전문적인 업무 환경에서 실무 경험을 쌓을 수 있습니다.
- 복리후생 적용 여부는 벤더가 결정합니다.
