データ工学 DENG
データパイプラインとデータストアの設計、構築、運用、保護、監視を行います。
ガイダンスノート
アクティビティには次のものが含まれますが、これらに限定されません。
- データソースの特定、データ処理の概念と方法
- オンプレミス、クラウドベース、ハイブリッドのデータエンジニアリングソリューションの評価、設計、および実装
- 分析、機械学習、データマイニング、アプリケーションや組織との共有などに使うデータの構造化と保存
- 構造化データと非構造化データの収集
- データの統合、統合、クレンジング
- データの移行と変換
- データの取り扱いに倫理原則を適用する。
- 関連する法律に沿ったデータの適切な保管を確保する。
- セキュリティ、コンプライアンス、スケーラビリティ、効率、信頼性、忠実度、柔軟性、および移植性を構築します。
このスキルに対する責任レベル
2 | 3 | 4 | 5 | 6 |
データ工学: レベル 1
このスキルは、通常、このレベルの責任と説明責任で観察または実践されることはありません。
データ工学: レベル 2
データパイプラインとデータストアの開発と実装を支援します。 管理タスクを実行して、データのアクセス可能性、取得可能性、セキュリティ、および保護を提供します。
データ工学: レベル 3
データを取得および準備するためのデータパイプラインとデータストアを設計および実装します。 データエンジニアリング標準とツールを適用して、データパイプラインを作成および維持し、データを抽出、変換、およびロードします。 定期的なデータ品質チェックと修復を実行します。
データ工学: レベル 4
データを取得および準備するための複雑なデータエンジニアリングソリューションを設計、実装、および保守します。 データストア、アプリケーション、および組織内およびデータストア間でデータを接続するためのデータパイプラインを作成および維持します。 複雑なデータ品質のチェックと修復を実行します。
データ工学: レベル 5
ソリューションが機能要件と非機能要件のバランスをとることを保証するデータエンジニアリングソリューションの開発を計画および推進します。 セキュリティとコンプライアンスを含むデータ標準とアーキテクチャのアプリケーションを監視します。 データエンジニアリングの組織ポリシー、標準、およびガイドラインに貢献します。
データ工学: レベル 6
データエンジニアリングの手法、ツール、手法の選択と開発を主導します。 データサービスと製品の開発と安全な運用のための組織のポリシー、標準、およびガイドラインを作成します。 技術戦略とアーキテクチャの順守を保証します。 戦略的、大規模、複雑なプログラムのデータエンジニアリング活動を計画および主導します。
データ工学: レベル 7
このスキルは、通常、このレベルの責任と説明責任で観察または実践されることはありません。