시니어 스태프 소프트웨어 엔지니어, AI 플랫폼 - 팔로알토 하이브리드
Pinterest의 AI 및 머신러닝 평가 플랫폼 전략, 아키텍처, 도입을 주도합니다. 전사적인 생성형 AI 경험을 위한 신뢰할 수 있는 평가 관행을 수립하도록 지원합니다.
설명
- 기술 리더십을 바탕으로 현대화 기회를 파악하고 전사 평가 시스템의 로드맵을 확장합니다
- 부서 간 기술 방향을 설정하고 협력 팀을 조율하며 공유 평가 기능의 도입을 확대합니다
- Pinterest의 AI 및 머신러닝 평가 플랫폼의 사용자 경험과 안정성을 강화하는 장기적인 아키텍처 결정을 내립니다
- 자동화 지표, 전문가 검토, 사람의 피드백, 안전성, 비즈니스 성과를 결합한 평가 방법과 기준을 개발합니다
- 팀 간 복잡한 이니셔티브를 이끌고 기술적 트레이드오프와 위험을 관리하며 측정 가능한 성과를 창출합니다
- Pinterest의 AI 및 머신러닝 평가 플랫폼을 전사적으로 사용되는 통합적이고 신뢰할 수 있는 시스템으로 발전시킵니다
- 엔지니어링, 연구, 제품, 안전 팀과 협력하여 AI 기반 경험의 품질, 출시 결정, 신뢰도를 높입니다
지원 자격
- 생성형 AI 및 복잡한 머신러닝 시스템을 위한 평가 시스템을 설계하고 운영한 실무 경험이 3년 이상 있어야 합니다
- 벤치마크와 골든 데이터셋을 만들고, 자동화 지표와 사람의 평가를 적용하며, 모델 기반 채점과 실패 분석을 수행한 경험이 있어야 합니다
- Python에 능숙해야 합니다
- 분산 시스템 원칙에 대한 실무 지식이 있어야 합니다
- 코딩과 시스템 설계 과정에서 AI 도구를 활용해 효과적으로 반복 개선할 수 있어야 합니다
- AutoEvals, OpenEvals, Ragas를 포함한 생성형 AI 및 추천 시스템 평가 라이브러리와 프레임워크에 대한 폭넓은 지식이 있어야 합니다
- 분산 실험, 데이터 및 모델 버전 관리, 오케스트레이션, 옵저버빌리티, 릴리스 관리, 프로덕션 모니터링을 위한 확장 가능한 플랫폼을 개발한 경력이 5년 이상 있어야 합니다
- 견고성, 편향, 개인정보 보호, 보안, 자동화 평가 신호의 한계 등 생성형 AI 위험에 대해 합리적인 판단력을 갖추어야 합니다
- 컴퓨터 과학, 공학 또는 관련 분야의 학사 학위나 이에 상응하는 경험이 있어야 합니다
복리후생
- 주식 보상 대상 자격
- 유연한 PinFlex 근무 모델
- 분기별 1~2회의 대면 협업
- 균등한 고용 기회를 제공하는 직장
- 지원 과정에서 의료 또는 종교적 편의 지원
