データエンジニア – AIパイプラインとデータプロダクト
Cityliticsのインフラ・インテリジェンス・プラットフォーム向けに、本番データパイプラインとエージェント型AIワークフローを構築します。 オーケストレーションから顧客向けアプリケーションまで、データプロダクトを一貫して担当します。
仕事内容
- AirflowとBigQueryを使用して、高性能で信頼性が高く保守しやすいデータパイプラインを構築する
- 設計、テスト、デプロイ、監視、保守にわたるパイプラインアーキテクチャを主導する
- 技術的な意思決定を自律的に行い、構築したシステムを運用する
- アナリストやステークホルダーと協力して要件を定義し、スケーラブルなデータモデルとアプリケーションを作成する
- パイプラインやモデルからバックエンドAPI、ダッシュボード、アプリケーションまで、データプロダクトをエンドツーエンドで管理する
- 生のドキュメントを構造化データに変換するAIおよびエージェント型ワークフローを設計・運用する
- ツール呼び出しや関数呼び出し、埋め込み、検索、構造化出力を用いてプロンプトとコンテキスト戦略を作成する
- リトライ、冪等性、コスト管理、レイテンシなどの本番要件に対応する
- 評価データセット、LLM-as-judgeによる評価、ルールベースの品質チェック、ベンチマークを維持する
- 評価結果をモデル、プロンプト、アーキテクチャの意思決定に反映する
- データ基盤とエンジニアリングプロセスを継続的に改善する
- 関連技術とエンジニアリングプラクティスを評価し、導入する
- AIコーディングエージェントが開発、デバッグ、コードレビュー、ドキュメント作成を支援する方法の定義に貢献する
- その他、割り当てられた業務を担当する
応募要件
- PythonとSQLに精通していること
- クラウド環境でデータエンジニアまたはソフトウェアエンジニアとして3年以上の経験
- AirflowまたはCloud ComposerとBigQueryを使用した本番データパイプライン構築の経験
- データモデリング、ETL/ELT、信頼性が高く冪等性のあるパイプライン設計に関する知識
- Gemini、Claude、OpenAIなどのAPIを使用して、LLMを活用した本番機能またはパイプラインを提供した経験
- プロンプト、構造化出力、ツール呼び出しまたは関数呼び出しの経験
- ツール利用、マルチステップワークフロー、検索/RAG、MCPなどのエージェントパターンに関する実務知識
- コスト、レイテンシ、障害モードに関する本番環境でのトレードオフを理解していること
- Claude CodeやCursorなどのAIコーディングエージェントを日常的に使い、生成された出力をレビュー・検証できること
- Git、CI/CD、クラウドプラットフォームの経験;GCP経験があれば尚可
- バックエンドAPIとReactやTypeScriptなどのフロントエンドを用いたエンドツーエンドのデータアプリケーションまたはダッシュボード開発経験があれば尚可
- 高い問題解決力、自律性、コミュニケーション力、協働力
福利厚生
- 実社会に影響を与える仕事を通じて、持続可能な公共インフラに貢献できる
- 差別化されたデータドリブンなインフラプラットフォームを代表できる
- インフラ、スケールアップ運営、データサイエンスを横断して働ける
- 企業的な官僚主義が少ない、スピード感のある環境に参加できる
- 生成AIツールを使用し、会社の全データ資産にアクセスできる
- 職務内のコーチング、スキルベースの成長機会、明確な社内昇進ルートを得られる
- 祝いや支え合いを共有する協力的なチームに参加できる
- 安全で多様性があり、インクルーシブな職場に参加できる
- 雇用機会均等を実践する雇用主のもとで働ける
