Plenful 스태프 머신러닝 엔지니어(샌프란시스코, 하이브리드)
머신러닝 에이전트, 모델 후속 학습 및 평가의 프로덕션 전략을 수립합니다. 의료 AI 자동화를 구축해 행정 업무를 줄이고 규정 준수를 강화합니다.
설명
- 도구 사용, 검색, 상태 및 컨텍스트 관리, 라우팅, 오케스트레이션, 추적, 장애 복구를 아우르는 프로덕션 에이전트를 설계합니다.
- 효과가 입증된 접근법을 재사용 가능한 엔지니어링 패턴으로 만듭니다.
- 모델과 플랫폼 구성 요소를 직접 구축할지 구매할지 결정합니다.
- 회사의 후속 학습 전략을 수립합니다.
- 의료 작업을 위한 대규모 언어 모델과 비전 언어 모델을 훈련하고 배포합니다.
- 모델을 지속적으로 훈련할 사내 역량을 개발합니다.
- 프로덕션 개선을 입증하는 평가를 만듭니다.
- 자동 채점기, 보정된 대규모 언어 모델 평가자, 회귀 테스트 모음, 사람의 검토, 장애 분류 체계, 오프라인에서 온라인으로 이어지는 검증을 포함한 AI 품질 전략을 정의합니다.
- 평가 결과를 바탕으로 출시 여부를 결정합니다.
- 프로덕션 장애와 사용자 피드백을 활용해 데이터셋, 평가, 모델을 개선하는 시스템을 구축합니다.
- 데이터셋 버전 관리, 관측 가능성, MLOps 표준을 정립합니다.
- 엔지니어링 및 제품 리더와 함께 향후 12개월의 ML 로드맵을 수립합니다.
- 기술 검토를 주도하고 시니어 엔지니어를 멘토링하며 채용에도 참여합니다.
- 최소한의 필수 데이터만 사용하고, 적절한 경우 비식별 데이터나 합성 데이터를 활용하며, HIPAA를 고려한 방식을 적용해 개인정보를 보호합니다.
- 입사 후 첫 30일 동안 에이전트, 평가, 훈련 파이프라인을 검토해 가장 큰 격차 세 가지를 파악합니다.
- 90일 이내에 후속 학습 또는 평가를 개선해 프로덕션 지표를 향상합니다.
- 90일 이내에 향후 두 분기 동안의 팀 계획을 공개합니다.
지원 자격
- 머신러닝 또는 소프트웨어 엔지니어링 경력 8년 이상이며, 이 중 3년 이상은 프로덕션 LLM 또는 에이전트 시스템을 이끈 경험이 있어야 합니다.
- 지도 미세 조정, 선호도 최적화, 증류, 강화 학습 등 응용 후속 학습의 전 과정 경험이 있어야 합니다.
- 프로덕션 지표를 개선한 모델을 출시한 경험이 있어야 합니다.
- 출시 의사결정에 활용된 LLM 또는 에이전트 평가 전략을 설계한 경험이 있어야 합니다.
- 프로덕션 에이전트 시스템 아키텍처 설계 경험이 있어야 합니다.
- LangGraph, RAG, Pinecone과 같은 벡터 검색 도구를 사용한 경험이 있어야 합니다.
- Python과 PyTorch 역량이 뛰어나야 합니다.
- vLLM, FSDP, DeepSpeed와 같은 분산 훈련 및 서빙 도구에 익숙해야 합니다.
- Docker, Kubernetes, MLflow 또는 이에 준하는 도구, CI/CD, 실험 및 데이터셋 추적을 포함한 MLOps 경험이 있어야 합니다.
- 설계 문서, 리뷰, 멘토링을 통해 공식 권한 없이도 영향력을 발휘할 수 있어야 합니다.
- 새로운 모델과 코딩 에이전트에 관한 최신 지식을 갖추고 있어야 합니다.
- 논문과 제품 출시 내용을 실험으로 전환하고 정량적 결과를 보고할 수 있어야 합니다.
- 오픈소스 기여, 기술 글, 발표, 평가 등 다른 사람들이 활용하는 성과가 있어야 합니다.
- 우대 사항: EHR, FHIR, 보험 청구, 사전 승인 등 의료 데이터 경험.
- 우대 사항: LLM 평가, 후속 학습 또는 에이전트 분야의 논문 발표나 오픈소스 기여.
- 우대 사항: 머신러닝 엔지니어 면접 및 채용 경험.
- 우대 사항: 기타 규제 산업 또는 고위험 분야 경험.
복리후생
- 원격 근무 우선의 유연한 하이브리드 근무를 제공합니다. 샌프란시스코와 뉴욕 사무실에서 의미 있는 대면 협업을 진행합니다.
- 직원에게 의료, 치과, 안과 보험을 전액 제공하며 가족도 가입할 수 있습니다.
- 401(k)를 제공하며 직원이 납입하는 첫 3%에 대해 회사가 50%를 매칭합니다.
- 모든 정규직 직원에게 지분을 제공합니다.
- 유급 휴가는 무제한입니다.
- 주 100달러의 점심 지원금.
- 월 100달러의 웰니스 지원금.
- 샌프란시스코와 뉴욕 근무 직원에게 월 100달러의 통근 지원금을 제공합니다.
- 유급 육아 휴가.
- 전문성을 키울 기회.
- 경험 많은 동료들과 함께하는 미션 중심 팀.
- 경험이 풍부하고 성과가 뛰어난 리더들과 협업합니다.
