소프트웨어 엔지니어, AI 시스템(미국 원격)
Haven Safety의 기업 안전 인텔리전스 플랫폼을 위한 프로덕션 LLM 에이전트를 구축합니다. 안전이 중요한 조사에 필요한 검색, 평가, 관측 가능성, 안정성 시스템을 담당합니다.
설명
- 모델 및 도구 호출, 그래프 쿼리, 검색, 품질 게이트, 전문 에이전트 인계를 조율하는 다단계 LLM 파이프라인을 개발하고 운영합니다.
- 사건 증거부터 분석, 검토, 기업 학습까지 아우르는 Haven의 협업 에이전트 팀과 오케스트레이션 계층을 확장합니다.
- Neo4j 순회, 벡터 검색, 하이브리드 검색을 사용해 컨텍스트 계층을 구축합니다.
- 평가 데이터셋, 점수 산정 방법, 회귀 테스트 모음, 모델 비교, 사람 검토 루프, 단계별 품질 귀속을 개발합니다.
- 트레이싱, 도구 호출 감사, 비용 및 지연 시간 모니터링, 장애 복구, 품질 대시보드를 추가합니다.
- 고객에게 영향을 미치기 전에 에이전트 루프, 환각, 조용한 성능 저하를 식별합니다.
- 작업 요구 사항에 따라 OpenAI, Anthropic, Google 모델 중에서 선택합니다.
- 제품 팀 및 지식 엔지니어링 팀과 긴밀히 협업합니다.
- AI 로드맵의 방향 수립에 기여합니다.
- 프로덕션 증거를 활용해 AI 및 LLM 추론 시스템을 설계, 제공, 계측하고 지속적으로 개선합니다.
- CTO에게 직접 보고합니다.
지원 자격
- AI 또는 머신러닝 엔지니어링 경험이 있으며, 실제 고객이 사용하는 LLM 시스템을 제공한 경험.
- LangGraph, LangChain 또는 이에 준하는 프레임워크를 사용해 다단계 도구 사용 워크플로를 구축하고 문제를 해결한 실무 경험.
- 대표성 있는 데이터셋, 회귀 테스트, LLM-as-judge 방법 또는 사람 검토 루프를 활용한 체계적인 LLM 평가 경험.
- LLM용 컨텍스트를 준비한 경험이 있으며 무엇을 얼마나 검색할지, 그리고 그 이유를 명확히 설명할 수 있는 역량.
- 배포, 모니터링, 인시던트 대응을 포함해 프로덕션 시스템을 소유하고 장애나 회귀를 진단하고 해결한 경험.
- 여러 모델 제공업체를 다룰 수 있으며 품질, 지연 시간, 비용, 컨텍스트, 운영 위험 간의 절충점을 설명할 수 있는 역량.
- Neo4j와 Cypher 또는 이에 준하는 그래프 데이터베이스 경험과 그래프 데이터 모델링을 빠르게 학습할 수 있는 역량을 강력히 우대합니다.
- 고급 Python 역량.
- FastAPI, 비동기 서비스, 테스트, 관측 가능성, 유지 관리 가능한 인터페이스의 프로덕션 경험.
- 우대 사항: Cypher, 스키마 진화, MERGE 패턴, 임베딩, 실시간 지식 그래프 운영 경험.
- 우대 사항: 프롬프트 인젝션, 컨텍스트 유출 방지, 테넌트 격리, 역할 기반 접근 제어, 정책 계층 분리에 대한 이해.
- 우대 사항: Azure에서 프로덕션 AI 서비스를 운영하고 Azure AI Search, Pinecone, MongoDB Atlas, pgvector, Elasticsearch 또는 유사 플랫폼을 사용한 경험.
- 기업 환경에서 근무한 경험을 강력히 우대합니다.
- 지원자는 미국에 기반을 두고 있어야 하며, 이주는 고려하지 않습니다.
복리후생
- 실질적인 AI 추론 과제에 참여합니다.
- 평가를 엔지니어링 실천의 우선순위로 삼는 팀에 합류합니다.
- 고객에게 직접적이고 가시적인 영향을 미치는 기술을 제공합니다.
- 작은 팀에서 폭넓은 책임을 맡습니다.
- 안전 팀과 최종 사용자로부터 직접 의견을 받습니다.
- CTO, 제품 팀, 지식 엔지니어링 팀과 긴밀히 협업합니다.
- 중요한 기술적 결정을 내리고 결과가 빠르게 고객에게 전달되는 것을 확인합니다.