사이트 신뢰성 엔지니어, AI 제공업체 운영 — OpenRouter (미국 원격)
OpenRouter AI 제공업체의 관측성, 장애 조치, 인시던트 대응 등 신뢰성 시스템을 운영합니다. 엔드포인트 품질 점검, 용량 관리, 출시 준비를 자동화합니다.
설명
- 제공업체 엔드포인트 모니터링을 개발하고 지연 시간, 처리량, 오류, 가동 시간, 출력 정확성을 추적합니다.
- 제공업체 등급별 서비스 수준 목표(SLO)를 정의하고 실행 가능한 알림을 구성합니다.
- 성능이 저하된 엔드포인트 감지를 개선하고 라우팅 팀과 협력해 트래픽 자동 장애 조치를 조율합니다.
- 온콜 제공업체 인시던트를 분류와 완화부터 파트너 소통, 사후 분석, 후속 조치까지 관리합니다.
- 제공업체 스코어카드와 SLO 보고서를 작성합니다.
- 제공업체 엔드포인트 문제에 대한 기술 에스컬레이션을 지원합니다.
- 지속적인 카나리아 테스트와 평가를 개발해 놓치기 쉬운 품질 저하를 감지합니다.
- 엔드포인트 비활성화, 용량 변경, 지원 중단, 속도 제한 조정 등 제공업체 운영을 자동화합니다.
- 출시 준비 상태와 초기 트래픽을 평가할 엔드포인트 부하 테스트 도구를 만듭니다.
- 제공업체 운영 관리자에게 보고합니다.
지원 자격
- 고트래픽 고객 대면 시스템을 지원하는 SRE, 프로덕션 엔지니어링 또는 인프라 직무에서 4년 이상 근무한 경험.
- 메트릭, 트레이싱, 로그, SLO, 오류 예산, 실행 가능한 알림을 포함한 탄탄한 관측성 역량.
- 소프트웨어 엔지니어링 역량과 런북을 따르기보다 도구를 만드는 것을 선호하는 성향.
- TypeScript 및/또는 Python 경험.
- 타임아웃, 재시도, 백프레셔, 부분 장애를 비롯한 분산 시스템 장애 유형에 대한 지식.
- 침착하게 인시던트를 주도하고 압박 속에서도 외부 파트너와 명확히 소통하는 능력.
- LLM 추론 개념에 대한 이해 또는 스트리밍, 도구 호출, 프롬프트 캐싱, 처리량과 지연 시간 간의 절충, 제공업체 API 차이를 배우려는 의지.
- 추론 제공업체, 모델 연구소, GPU 클라우드, API 게이트웨이 또는 CDN 기업에서 근무한 경험이 있으면 우대.
- TypeScript, Cloudflare Workers, Postgres, ClickHouse, GCP 또는 Vercel 경험이 있으면 우대.
- 라우팅, 로드 밸런싱 또는 트래픽 관리 시스템 경험이 있으면 우대.
- 머신러닝 시스템 평가 또는 합성 모니터링 경험이 있으면 우대.