数字世界的全球技能和能力框架

数据工程设计 DENG

设计、构建、运营、保护和监控数据管道、存储和实时处理系统,以实现可扩展且可靠的数据管理。

指导说明

活动可能包括但不限于:

  • 识别数据源、数据处理概念和方法
  • 评估、设计和实施基于云计算和混合式数据工程解决方案
  • 构建和存储数据以进行分析、机器学习、数据挖掘以及与应用程序和组织共享
  • 获取结构化和非结构化数据
  • 整合和清理数据
  • 实施实时和批处理数据处理管道
  • 确保符合数据治理、安全和隐私标准,包括加密和安全多租户
  • 管理数据管道 (DataOps) 的持续集成、部署和监控
  • 迁移和转换数据
  • 处理数据时运用道德原则
  • 确保数据存储符合相关法规
  • 内置数据工程解决方案的安全性、合规性、可扩展性、效率、可靠性、保真度、灵活性和可移植性。

了解此技能的责任级别

在未定义较低级别的情况下...
  • 没有定义具体的任务和职责,因为该技能需要比这些级别的通常预期的更高的自主性、影响力和决策复杂性。您可以使用本质语句来了解与这些级别相关的一般职责。
如果未定义更高的级别...
  • 职责和问责制没有定义,因为这些更高层次涉及战略领导和更广泛的组织影响力,超出了这一特定技能的范围。请参阅本质陈述。

发展技能并展示与该技能相关的责任

定义的级别显示了技能和责任的增量进展。

在未定义较低级别的情况下...

您可以通过以下方式发展您的知识并支持在该领域负有责任的其他人:

  • 学习与此技能相关的关键概念和原则及其对您的角色的影响
  • 执行相关技能(请参阅相关的 SFIA 技能)
  • 支持他人执行更高级别的任务和活动
如果未定义更高的级别...
  • 你可以通过发展更适合更高层次组织领导的相关技能来取得进步。

显示/隐藏额外的描述和级别。

该技能的责任级别

2 3 4 5 6

数据工程设计: 级别 2

级别 2 — 协助: 该级别的本质:为他人提供帮助,在日常监督下工作,利用自己的判断力解决常规问题。通过培训和在职经验积极学习。

协助开发和实施数据管道和数据存储。执行管理任务以提供数据可访问性、可检索性、安全性和保护。支持监控数据管道操作,识别问题并根据需要上报。在日常监督下参与数据迁移和转换任务。

数据工程设计: 级别 3

级别 3 — 应用: 该级别的本质:使用标准方法和程序执行各种任务,有时是复杂和非常规任务。在一般指导下工作,行使自主权,在截止日期内管理自己的工作。在工作场所积极主动地提高技能和影响力。

遵循标准方法和既定的设计模式来创建和实施简单的数据管道和数据存储,以获取和准备数据。应用数据工程标准和工具来创建和维护数据管道,并执行提取、转换和加载 (ETL) 流程,并结合安全性和数据完整性实践。为数据迁移和转换项目提供助力,确保数据的完整性和一致性。执行例行数据质量检查和修复。

数据工程设计: 级别 4

级别 4 — 帮助: 该级别的本质:执行各种复杂的活动,支持和指导他人,在适当时委派任务,在一般指导下自主工作,并为实现团队目标贡献专业知识。

设计、实施和维护复杂的数据工程解决方案,以获取和准备数据。创建和维护数据管道,以跨数据存储、应用程序和组织连接数据。根据数据治理和安全标准来构建。支持持续集成和部署实践的开发。监控和优化管道性能和可扩展性。执行复杂的数据质量检查和修复。领导数据迁移和数据转换活动。

数据工程设计: 级别 5

级别 5 — 确保,建议: 该级别的本质:在其专业内提供权威性指导,并在广泛的指导下开展工作。负责交付从分析、执行到评估的重要工作成果。

规划并推动数据工程解决方案的开发,兼顾功能与非功能需求。监控数据标准、架构和安全性的应用,确保合规性与可扩展性。开发并促进持续集成、部署和监控实践。协助数据工程的组织政策、标准和指南的制作。

数据工程设计: 级别 6

级别 6 — 主动,影响: 该级别的本质:对组织有重大影响,做出高层决策,制定政策,展现领导力,促进组织协作,并在关键领域接受问责。

引领数据工程方法、工具和技术的选择和发展。针对数据服务和产品的开发与安全运营制定组织政策、标准和指南。确保遵守技术策略和体系结构。规划和领导具有重大影响的、复杂的战略性大型项目群的数据工程活动,确保其符合组织目标和行业实践。