ソフトウェアエンジニア、AIシステム（米国リモート）
Haven Safety の企業向け安全インテリジェンスプラットフォームで、本番環境向けの LLM エージェントを構築します。 安全性が重要な調査のための検索、評価、可観測性、信頼性システムを担います。
仕事内容
- モデルとツールの呼び出し、グラフクエリ、検索、品質ゲート、専門エージェントへの引き継ぎを連携する、複数ステップの LLM パイプラインを開発・運用します。
- インシデントの証拠から分析、レビュー、企業内の学習までをカバーする Haven の協調エージェントチームとオーケストレーション層を拡張します。
- Neo4j のトラバーサル、ベクトル検索、ハイブリッド検索を用いてコンテキスト層を構築します。
- 評価データセット、スコアリング手法、回帰テストスイート、モデル比較、人手レビューのループ、ステージ単位の品質帰属を開発します。
- トレーシング、ツール呼び出しの監査、コストとレイテンシーの監視、障害復旧、品質ダッシュボードを追加します。
- 顧客に影響が及ぶ前に、エージェントのループ、ハルシネーション、気づきにくい性能ドリフトを特定します。
- タスク要件に応じて OpenAI、Anthropic、Google のモデルを選択します。
- プロダクトチームおよびナレッジエンジニアリングチームと緊密に協働します。
- AI ロードマップの方向性づくりに貢献します。
- 本番環境のエビデンスを用いて、AI および LLM 推論システムを設計、提供、計測し、継続的に改善します。
- CTO に直接レポートします。
応募要件
- AI または機械学習エンジニアリングの経験があり、実際の顧客が利用する LLM システムを提供した経験。
- LangGraph、LangChain、または同等のフレームワークを使い、複数ステップのツール利用ワークフローを構築・トラブルシューティングした実務経験。
- 代表性のあるデータセット、回帰テスト、LLM-as-judge 手法、人手レビューのループなどを用いた、体系的な LLM 評価の経験。
- LLM のコンテキストを準備した経験があり、何をどれだけ検索し、なぜそうするのかを明確に説明できること。
- デプロイ、監視、インシデント対応を含め、本番システムを所有し、障害やリグレッションを診断・解決した経験。
- 複数のモデルプロバイダーを扱い、品質、レイテンシー、コスト、コンテキスト、運用リスクのトレードオフを説明できること。
- Neo4j と Cypher、または同等のグラフデータベースの経験があり、グラフデータモデリングを迅速に習得できることが強く望まれます。
- 高度な Python スキル。
- FastAPI、非同期サービス、テスト、可観測性、保守しやすいインターフェースの本番経験。
- 歓迎：Cypher、スキーマ進化、MERGE パターン、埋め込み、稼働中のナレッジグラフの運用経験。
- 歓迎：プロンプトインジェクション、コンテキスト漏洩防止、テナント分離、ロールベースアクセス、ポリシー層の分離に関する知識。
- 歓迎：Azure での本番 AI サービス運用と、Azure AI Search、Pinecone、MongoDB Atlas、pgvector、Elasticsearch、または同様のプラットフォームの使用経験。
- 企業環境で働いた経験があることが強く望まれます。
- 応募者は米国内に居住している必要があります。転居は考慮されません。
福利厚生
- 実質的な AI 推論の課題に取り組めます。
- 評価をエンジニアリング実践の中心に置くチームに参加できます。
- 顧客に直接かつ目に見える効果をもたらす技術を提供できます。
- 小規模なチームで幅広い責任を担えます。
- 安全チームやエンドユーザーから直接意見を得られます。
- CTO、プロダクトチーム、ナレッジエンジニアリングチームと緊密に協働できます。
- 重要な技術的意思決定を行い、その成果が迅速に顧客へ届く様子を確認できます。