AI 시스템 소프트웨어 엔지니어 - AI 펀드 - 캐나다 원격
Haven Safety AI의 기업 안전 인텔리전스 플랫폼을 위한 프로덕션 LLM 파이프라인과 에이전트 오케스트레이션을 구축합니다. 규제 산업을 대상으로 검색, 평가, 관측 가능성 및 모델 품질을 개선합니다.
설명
- 모델 및 도구 호출, 그래프 쿼리, 검색, 품질 게이트, 전문 에이전트 인계 작업을 조율하는 다단계 LLM 파이프라인을 개발하고 운영합니다.
- 사고 증거부터 분석, 검토, 기업 학습까지 담당하는 Haven의 협업 에이전트 팀과 오케스트레이션 계층을 확장합니다.
- Neo4j 그래프 탐색, 벡터 검색 및 하이브리드 검색을 활용해 컨텍스트 시스템을 설계합니다.
- 평가 데이터셋, 점수 산정 방법, 회귀 테스트 스위트, 모델 비교, 사람 검토 루프 및 단계별 품질 귀속 체계를 만듭니다.
- 트레이싱, 도구 호출 감사, 비용 및 지연 시간 모니터링, 장애 처리 및 품질 대시보드를 추가합니다.
- 고객에게 영향을 미치기 전에 오케스트레이션 루프, 환각 및 감지되지 않은 모델 드리프트를 식별합니다.
- 작업 요구사항에 따라 OpenAI, Anthropic 및 Google 모델 중에서 선택합니다.
- 제품 및 지식 엔지니어링 팀과 협업하며 AI 로드맵 정의에도 기여합니다.
- CTO에게 보고하고 창업팀의 다양한 책임 범위에 걸쳐 기여합니다.
지원 자격
- 실제 고객이 사용하는 LLM 시스템을 제공한 경험을 포함한 전문 AI 또는 머신러닝 엔지니어링 경력.
- LangGraph, LangChain 또는 이에 상응하는 프레임워크를 사용해 다단계 도구 호출 워크플로를 구축하고 문제를 해결한 실무 경험.
- 대표 데이터셋, 회귀 테스트, LLM 심사 방식 또는 사람 검토 루프를 활용한 반복 가능한 LLM 평가 프로세스 경험.
- LLM 컨텍스트를 준비한 경험과 무엇을 얼마나 왜 검색할지에 대해 근거 있는 결정을 내릴 수 있는 능력.
- 배포, 모니터링 및 인시던트 대응을 포함해 시스템을 끝까지 책임진 경험.
- 프로덕션 장애 또는 회귀 문제를 조사하고 해결한 경험.
- 여러 모델 제공업체를 대상으로 작업하고 품질, 지연 시간, 비용, 컨텍스트 및 운영 위험 간의 트레이드오프를 설명할 수 있는 능력.
- Neo4j와 Cypher 또는 이에 상응하는 그래프 데이터베이스에 대한 실무 지식과 그래프 데이터 모델링을 빠르게 학습할 수 있는 능력; 우대.
- 뛰어난 Python 개발 역량.
- FastAPI, 비동기 서비스, 테스트, 관측 가능성 및 유지보수 가능한 인터페이스에 대한 프로덕션 경험.
- Cypher, 스키마 변경, MERGE 패턴, 임베딩 및 운영 중인 지식 그래프 관리를 포함한 고급 그래프 경험; 우대.
- 엔터프라이즈 AI 보안 경험; 우대.
- Azure 및 하이브리드 검색 경험; 우대.
- Azure AI Search, Pinecone, MongoDB Atlas, pgvector, Elasticsearch 또는 유사 플랫폼 경험; 우대.
- 엔터프라이즈 B2B SaaS 경험; 매우 우대.
복리후생
- 높은 주도권을 발휘할 수 있는 소규모 팀에 합류합니다.
- 안전 팀으로부터 직접 피드백을 받고 업무가 고객에게 미치는 영향을 확인합니다.
- CTO, 제품 팀 및 지식 엔지니어링 팀과 긴밀히 협업합니다.
- 중요한 기술적 의사결정에 영향을 미치고 고객에게 신속하게 변경 사항을 제공합니다.
- 안전이 중요한 분야에서 복잡한 추론 과제를 해결합니다.
- 측정 가능하고 관측 가능하며 개선 가능한 품질에 집중하는 평가 우선 문화를 경험합니다.