初级数据工程师,圣保罗(混合办公)
构建 ETL/ELT 流水线、集成方案和 AWS 数据解决方案。 加入一家专注于技术与数字化转型的招聘咨询公司。
描述
- 构建并维护基础的 ETL/ELT 流水线
- 连接来自文件、API 和数据库的数据
- 清理、转换和验证数据
- 编写 Python 和 SQL 脚本以自动执行任务
- 协助组织数据湖和数据仓库
- 监控流水线并处理已知问题
- 记录工作流和流程
- 遵循数据质量、安全和版本控制方面的良好实践
- 与技术团队和业务团队合作
- 准备仪表板数据集、检查指标并维护简单的数据可视化
任职要求
- 能够使用 SQL 查询、连接、聚合和子查询,并了解基本的查询优化
- 能够使用 Pandas 和 Boto3 编写 Python ETL/ELT 脚本
- 了解 Shell 脚本基础和自动化
- 了解 PostgreSQL 或 MySQL 等关系型数据库,并基本熟悉 DynamoDB 等 NoSQL 数据库
- 了解 ETL/ELT、数据流水线、数据建模、数据湖和数据仓库
- 具备 AWS 基础知识,包括 S3、RDS、Glue、Athena 和 Lambda
- 了解 IAM、云安全和 CloudWatch 基础
- 有使用 AWS 服务的经验
- 能够使用 Git 进行分支管理、提交和拉取请求,并处理基本的合并冲突
- 具备使用 pytest 编写单元测试的基础经验
- 了解使用 Airflow 或 Step Functions 进行工作流编排的基础知识
- 能够记录技术工作,并验证数据质量和完整性
- 有使用 Power BI、Amazon QuickSight 或其他 BI 工具的经验或了解者优先
- 具备分析思维、组织能力、清晰的沟通能力,并愿意学习和提升技术能力
福利待遇
- 承包商合作形式(PJ)
- 混合办公安排
- 有机会加入领先的云解决方案与数字化转型公司
- 有机会提升技术能力、逐步承担更多自主职责
相关职位
未找到职位
尝试调整或清除筛选条件,以查看更多机会。
