シニアスタッフソフトウェアエンジニア、AIプラットフォーム - パロアルト・ハイブリッド
PinterestのAIおよび機械学習評価プラットフォームの戦略、アーキテクチャ、導入を主導します。 全社の生成AI体験に向けた信頼性の高い評価プラクティスの確立を支援します。
仕事内容
- 技術的リーダーシップを発揮してモダナイゼーションの機会を特定し、全社的な評価システムのロードマップを拡張する
- 部門横断の技術方針を定め、パートナーチームの足並みをそろえ、共有評価機能の導入を促進する
- PinterestのAIおよび機械学習評価プラットフォームのユーザー体験と信頼性を高める長期的なアーキテクチャ上の意思決定を行う
- 自動評価指標、専門家によるレビュー、人間のフィードバック、安全性、ビジネス成果を組み合わせた評価手法と基準を開発する
- チーム横断の複雑な取り組みを主導し、技術的なトレードオフとリスクを管理して、測定可能な成果を実現する
- PinterestのAIおよび機械学習評価プラットフォームを、全社で利用される統合された信頼性の高いシステムへと発展させる
- エンジニアリング、研究、プロダクト、安全性の各チームと協力し、AIを活用した体験の品質、リリース判断、信頼性を高める
応募要件
- 生成AIおよび複雑な機械学習システムの評価システムを設計・運用した実務経験が3年以上あること
- ベンチマークとゴールデンデータセットの作成、自動評価指標と人手による評価の適用、モデルベースの評価、失敗分析の経験
- Pythonに堪能であること
- 分散システムの原則に関する実務知識
- コーディングやシステム設計においてAIツールを活用し、効果的に反復改善できること
- AutoEvals、OpenEvals、Ragasなど、生成AIおよび推薦システムの評価ライブラリとフレームワークに関する幅広い知識
- 分散実験、データおよびモデルのバージョン管理、オーケストレーション、オブザーバビリティ、リリース管理、本番監視に対応するスケーラブルなプラットフォームの開発経験が5年以上あること
- 堅牢性、バイアス、プライバシー、セキュリティ、自動評価シグナルの限界など、生成AIのリスクに関する適切な判断力
- コンピューターサイエンス、工学、または関連分野の学士号、あるいは同等の経験
福利厚生
- 株式報酬の対象となる資格
- 柔軟なPinFlex勤務モデル
- 四半期に1〜2回の対面コラボレーション
- 機会均等の職場環境
- 応募手続き中の医療上または宗教上の配慮に関する支援
