Hewlett Packard Enterprise

Hewlett Packard Enterpriseは、ハイブリッドクラウドとAI主導の業務を運用する組織向けに、エンタープライズテクノロジーを開発しています。製品ポートフォリオには、HPE ProLiantサーバー、HPE Cray高性能コンピューティング、HPE Alletraストレージ、HPE Arubaネットワーキング、AIプラットフォームとターンキー型AIファクトリー、サービスとして提供されるGreenLakeソリューションが含まれます。HPEは、ゼロトラストやSASEなどのセキュリティ機能に加え、大規模な組織によるインフラストラクチャの近代化、データセンター環境の管理、AIの大規模展開を支援するプロフェッショナルサービス、アドバイザリーサービス、サポートサービスも提供しています。

企業の求人

HPE Hybrid シニア推論ソフトウェアエンジニア

顧客所有インフラ向け HPE AI Essentials のエンタープライズ LLM 推論ランタイム開発を主導します。 GPU 効率の高いサービング、分散実行、Kubernetes オーケストレーションを改善します。

4 日前

$137,000 – $315,000 / 年

ハイブリッドフルタイムシニア必須言語：英語ソフトウェアエンジニアフルスタックエンジニア

C++Go Kubernetes Python

仕事内容

エンジン統合、連続バッチ処理、KV キャッシュの管理と再利用、量子化実行など、LLM サービングデプロイメントの中核コンポーネントを担当します。
推論エンジニアリングチームと連携し、最初のトークンまでの時間、トークン間レイテンシ、GPU スループット、P95/P99 のテールレイテンシを削減します。
分離型プリフィルとデコード、テンソル並列処理とパイプライン並列処理、GPU メモリ・ホストメモリ・RDMA 接続ストレージ間の KV キャッシュオフロードなど、分散実行機能を開発・運用します。
新しいランタイム、量子化手法、投機的デコーディング、Mixture-of-Experts サービングを評価し、採用する技術を提案します。
モデル受け入れ、GPU スケジューリングとパーティショニング、キャッシュ認識型リクエストルーティング、自動スケーリングを含むオーケストレーション層の構築を支援します。
顧客の問題をエンドツーエンドで解決し、根本原因を特定するとともに、関連するシステムとプロセスを強化します。
コードと設計をレビューし、同僚を指導し、優れたエンジニアリングプラクティスを実践します。

応募要件

ソフトウェアエンジニアリング経験 8 年以上。
LLM 推論ランタイムまたは本番モデルサービングの直接的な経験 1～2 年以上。
コンピュータサイエンスまたは関連分野の学位。
vLLM、SGLang、TensorRT-LLM、TGI、NVIDIA NIM などの LLM 推論エンジンに精通し、エンジン内部の変更経験があること。
連続バッチ処理、Paged Attention、KV キャッシュの再利用とプレフィックスキャッシュ、チャンク化プリフィル、量子化、投機的デコーディングに関する深い知識。
テンソル並列処理とパイプライン並列処理、NCCL 集合通信、GPU メモリ階層、インターコネクトの動作に関する実務知識。
オペレーター、カスタムリソース、コントローラー、スケジューリングを含む Kubernetes プラットフォームアーキテクチャの高度なスキル。
Go と Python による高いプログラミング能力。
Nsight などのツールを使用して C++ と CUDA のコードを読み、デバッグし、プロファイリングできること。
RAG やエージェントアプリケーションを含む、マルチティアワークロードのデバッグとプロファイリングに精通していること。
優れた分析力、デバッグ力、問題解決能力。
歓迎：vLLM、SGLang、TensorRT-LLM、llm-d、LMCache、KServe への貢献経験。
歓迎：分離型プリフィルとデコードのサービング、または大規模な KV キャッシュのオフロードと再利用の経験。
歓迎：RDMA、GPUDirect Storage、InfiniBand、RoCE の経験。
歓迎：MIG、GPU の分割割り当て、マルチテナント GPU 分離の経験。
歓迎：オンプレミス、エアギャップ、規制対象のエンタープライズ環境向けソフトウェアの提供経験。