資深資料工程軟體開發人員(主題專家)– 華盛頓特區
面向國防部和DISA環境,負責設計安全的Kafka、Elastic和AWS資料管線的資深資料工程專家。此職位著重於資料平台、CI/CD、可觀測性和企業級分析。
說明
- 為複雜資料來源設計並營運可擴充的資料系統與管線
- 將網路營運資料統一至一致且易於存取的平台
- 建構並維護Kafka、Elastic和Logstash資料擷取與處理管線
- 自動化ETL/ELT工作流程,包括驗證、清理、監控和處理
- 使用Confluent Kafka、Elastic Stack、AWS以及Red Hat OpenShift/Kubernetes交付資料解決方案
- 開發和管理資料倉儲與資料湖
- 使用React、JavaScript和HTML支援Kibana儀表板與視覺化
- 提升資料擷取吞吐量、查詢效能、索引效能、儲存效率和叢集效能
- 診斷涉及資料擷取、處理、儲存、記憶體、分割和效能的問題
- 依照國防部和DISA要求維護資料品質、安全性與合規性
- 參與CI/CD管線、版本控制和DevOps流程
- 與分析師、視覺化工程師、軟體開發人員及其他利害關係人協作
- 維護資料架構、整合、設定、程序和執行手冊相關文件
職位要求
- 持有有效的TS/SCI安全許可
- 持有目前有效的Security+認證或更高級別或同等認證
- 擁有計算機科學、工程或相關技術領域的學士學位並具備12年或以上相關經驗,或擁有上述領域的碩士學位並具備10年或以上相關經驗
- 具備設計、建構和維護ETL/ELT管線以及整合異質資料來源的實務經驗
- 具備資料倉儲或資料湖經驗,包括AWS Redshift、Amazon S3、Hadoop、Snowflake或同類平台
- 具備Elastic Stack和/或Kafka經驗
- 具備Linux/UNIX系統管理和自動化經驗
- 具備CI/CD管線、容器化管線、Git、Bitbucket和DevOps方法經驗
- 了解網路營運資料,例如日誌、指標、事件、工單和CMDB記錄
- 精通Python、Java、SQL和Shell指令碼
- 了解資料安全、存取控制以及國防部、DISA、RMF和STIG要求
- 願意並能夠完成及持續維護額外的客戶適任性審查
