
시니어 AI 엔지니어(스페인, 원격)
LLM 기반 검색 평가 및 관련성 도구를 위한 Python 서비스, API, 프로덕션 AI 기능을 구축합니다. Parser의 다국적 소매 고객을 지원하는 역할입니다.
설명
- 검색팀이 문제를 진단하고 변경 사항을 테스트하며 관련성을 더 빠르게 측정하도록 돕는 AI 도구를 개발합니다.
- 검색 행동, 진단 정보, 품질 데이터를 우선순위가 있는 인사이트로 전환하는 AI 기능을 만듭니다.
- 사람의 관련성 평가를 수집하고 통합하는 백엔드 서비스와 API를 구축합니다.
- 기존 오프라인 평가 도구를 개발자가 CI/CD에서 실행할 수 있는 온디맨드 환경으로 전환합니다.
- LLM 기반 관련성 평가를 포함해 AI 기능의 정확성과 신뢰성을 자동으로 점검하는 절차를 마련합니다.
- 제품, 디자인, 데이터 과학, 검색팀과 협력해 프로토타입을 프로덕션에 적용합니다.
- 도구를 기존 고객 플랫폼 및 API에 연결합니다.
- 품질, 지연 시간, 비용을 추적하고 주요 결정과 절충 사항을 기록합니다.
- 문서, 데모, 점진적인 풀 리퀘스트를 통해 진행 상황을 일찍 공유합니다.
- 합의된 아키텍처와 엔지니어링 관행에 따라 작업을 제공합니다.
- 결정, 위험, 절충 사항을 명확히 설명합니다.
- 검색 및 데이터 과학 동료와 AI 생성 결과물의 품질을 검토합니다.
- 실제 데이터로 가정을 검증하고 근거에 따라 해결책을 개선합니다.
- 초기 해결책을 적절히 단순하게 유지하면서 탐색에서 제공 단계까지 진행합니다.
- 사용자가 신뢰하고 이해하며 채택할 수 있는 도구를 구축합니다.
- 작업에 더 적합하다면 LLM 대신 결정론적 규칙, 전통적인 머신러닝 또는 사람의 검토를 선택합니다.
지원 자격
- 소프트웨어 엔지니어링, 데이터 엔지니어링, 머신러닝 또는 응용 AI 분야에서 5년 이상의 실무 경력이 있어야 합니다.
- 프롬프트 설계, 구조화된 출력, API 통합을 포함해 프로덕션 LLM 애플리케이션을 구축한 실무 경험이 있어야 합니다.
- 임베딩, 시맨틱 검색, 하이브리드 검색을 알고 어휘 검색과 비교할 수 있어야 합니다.
- 품질, 지연 시간, 보안, 비용 측면에서 모델과 접근 방식을 평가할 수 있어야 합니다.
- 오프라인 평가 및 라벨링 데이터 벤치마크를 만든 경험이 있어야 합니다. 사람의 라벨을 기준으로 LLM 평가자를 보정한 경험을 포함합니다.
- nDCG, Precision at K, MRR 등의 순위 측정 지표와 평가자 간 일치도를 이해해야 합니다.
- 환각, 편향, 드리프트, 개인정보 보호 위험을 인지하고 사람의 검토 절차를 설계한 경험이 있어야 합니다.
- 뛰어난 SQL 역량과 대규모 분석 데이터셋을 다룬 경험이 있어야 합니다.
- 메달리온 아키텍처를 이해하고 AI 시스템을 데이터 파이프라인 및 API에 연결하는 데 익숙해야 합니다.
- 뛰어난 Python 역량과 유지 관리가 쉬운 백엔드 서비스 및 API 개발 경험이 있어야 합니다.
- 애플리케이션, 데이터, AI 구성 요소를 위한 탄탄한 테스트 관행을 갖춰야 합니다.
- CI/CD, 컨테이너, 클라우드 인프라 경험이 있어야 합니다. Microsoft Azure 경험을 우대합니다.
- 독립적인 개념 증명을 넘어 AI 기반 시스템을 제공한 실적이 있어야 합니다.
- 적절한 신뢰성 및 안전 조치를 갖춘 사용자 중심 솔루션을 반복적으로 출시할 수 있어야 합니다.
- 기술적 결정과 평가 결과를 비기술 이해관계자에게 설명할 수 있는 뛰어난 문서 작성 및 구두 소통 능력이 있어야 합니다.
- 여러 분야의 동료와 협업해 제품을 제공할 수 있어야 합니다.
- 우대 사항: 제품 분류 체계와 롱테일 쿼리를 포함한 소매 또는 이커머스 검색 경험.
- 우대 사항: Elasticsearch 같은 프로덕션 검색 플랫폼 또는 벡터 데이터베이스에 대한 실무 경험.
- 우대 사항: 검색 또는 추천을 위한 오프라인 평가나 A/B 테스트 도구를 만든 경험.
- 우대 사항: 사람의 주석 작업 또는 평가 도구를 개발한 경험.
- 우대 사항: Kafka와 같은 이벤트 스트리밍 또는 클릭스트림 및 웹 분석 데이터 경험.
복리후생
- 매우 경쟁력 있는 보상 패키지.
- 의료 보험.
- 유연한 원격 근무.
- 세 자릿수 성장을 경험하고 있는 조직에 합류할 기회.
- 기술 전문가로 구성된 다문화 커뮤니티에 합류할 기회.


