データアナリスト — PySpark、SQL、Power BI
Instituto de Pesquisas Eldoradoのブラジル研究開発センターで、データパイプライン、モデル、ダッシュボードを構築します。 PySpark、SQL、Databricks、Power BIを活用します。
仕事内容
- REST API、ウェブスクレイピング、レガシーSQLプロシージャ、ファイルを使用したデータ取り込みパイプラインを作成・導入する
- データベースに直接アクセスできないシステム向けの読み取り専用レプリケーションの実装を支援し、性能への影響を考慮する
- PySparkとSQLでデータを変換する
- 処理コストと性能のベンチマーク、および効率的なリソースサイジングを支援する
- メダリオンアーキテクチャを用いたBronze、Silver、Goldのデータレイヤー構築を支援する
- レイアウト変更の検知やブロック対策を備えた、堅牢なスクレイピングパイプラインを構築する
- データの重複排除と正規化を行い、品質をテストする
- サードパーティ連携向けのデータ契約とスキーマ変更アラートの実装を支援する
- Power BIのダッシュボードとレポートを作成する
- ビジネスニーズをデータモデルと分かりやすい可視化に落とし込む
- RBACポリシーに沿ってレポートに行レベルセキュリティ（Row-Level Security）を適用する
- dbtでデータ品質テストと宣言的変換を作成する
- Fabric Copilotを含むセルフサービス分析機能の設定を支援する
- データガバナンスチームと連携し、データリネージと分類を維持する
- パイプラインやクエリの性能問題を特定して修正する
- ユーザー受け入れテストを実施し、フィードバックに基づいてダッシュボードを改善する
応募要件
- コンピューターサイエンス、コンピューター工学、システム分析または関連分野の学士号
- データエンジニアリング、PythonまたはPySpark、SQLにおける中堅レベルの実務経験
- DatabricksまたはSparkの知識
- Azure Data Factoryなどのオーケストレーションツールの知識
- ParquetやDelta Lakeなどの分析用データ形式の知識
- dbtの知識があれば尚可
- データパイプライン向けのGitおよびCI/CDの知識
- REST APIを介したデータ統合の経験
- データ可視化の実践とデータストーリーテリングの知識
- SQL、API、ファイル、Lakehouse、Warehouseなど、多様なデータソースを扱った経験
- 行レベルセキュリティの実装経験
- サンパウロへの出張に抵抗がない方は尚可
- 上級レベルの英語力があれば尚可
福利厚生
- すべての候補者に平等な機会を提供
- 多様性を尊重するインクルーシブな職場
- 障がいのある方も応募可能
- ハイブリッド勤務
- 経験を積み、重要なプロジェクトに貢献する機会
- 組織の研究所設備を利用し、研究開発プロジェクトに参加できる機会