O modelo global de competências para o mundo digital

Engenharia de dados DENG

Projeto, construção, operação, proteção e monitoramento de pipelines de dados, sistemas de armazenamento e sistemas de processamento em tempo real para o gerenciamento de dados escalável e confiável.

Notas orientativas

As atividades podem incluir, não se limitando a:

  • identificação de fontes de dados, conceitos e métodos de processamento de dados
  • avaliação, projeto e implementação de soluções de engenharia de dados no local, baseadas em nuvem e híbridas
  • estrutura e armazenagem de dados para análise, aprendizado de máquina, mineração de dados e compartilhamento com aplicativos e organizações
  • coleta de dados estruturados e não estruturados;
  • integração, consolidação e limpeza de dados
  • implementação de pipelines de processamento de dados em tempo real e batch
  • garantia da conformidade com os padrões de governança de dados, segurança e privacidade, incluindo criptografia e multilocação segura
  • gerenciar a integração contínua, implantação e monitoramento de pipeline de dados (DataOps)
  • migração e conversão de dados
  • aplicação de princípios éticos no tratamento de dados
  • garantir que o armazenamento de dados esteja alinhado com a legislação aplicável
  • proporcionar segurança, conformidade, escalabilidade, eficiência, confiabilidade, fidelidade, flexibilidade e portabilidade às soluções de engenharia de dados

Compreendendo os níveis de responsabilidade desta habilidade

Onde níveis inferiores não são definidos...
  • Tarefas e responsabilidades específicas não são definidas porque a habilidade requer um nível mais alto de autonomia, influência e complexidade na tomada de decisões do que é normalmente esperado nesses níveis. Você pode usar as declarações de essência para entender as responsabilidades genéricas associadas a esses níveis.
Onde níveis mais altos não são definidos...
  • Responsabilidades e accountability não são definidas porque esses níveis mais altos envolvem liderança estratégica e influência organizacional mais ampla que vai além do escopo dessa habilidade específica. Veja as declarações de essência.

Desenvolver habilidades e demonstrar responsabilidades relacionadas a essa habilidade

Os níveis definidos mostram a progressão incremental em habilidades e responsabilidades.

Onde níveis inferiores não são definidos...

Você pode desenvolver seu conhecimento e apoiar outras pessoas que têm responsabilidades nesta área:

  • Aprender conceitos e princípios-chave relacionados a essa habilidade e seu impacto em sua função
  • Executar habilidades relacionadas (veja as habilidades SFIA relacionadas)
  • Apoiar outras pessoas que estão realizando tarefas e atividades de nível superior
Onde níveis mais altos não são definidos...
  • Você pode progredir desenvolvendo habilidades relacionadas que são mais adequadas a níveis mais altos de liderança organizacional.

Mostrar/ocultar descrições e níveis extras.

Níveis de responsabilidade para esta habilidade

2 3 4 5 6

Engenharia de dados: Nível 2

Nível 2 - Auxilia: Essência do nível: Presta assistência a outras pessoas, trabalha sob supervisão rotineira e usa critérios próprios para resolver problemas rotineiros. Aprende ativamente por meio de treinamento e experiências no trabalho.

Auxilia no desenvolvimento e implementação de pipelines e armazenamento de dados.

Executa tarefas administrativas para fornecer acessibilidade, recuperação, segurança e proteção de dados.

Dá suporte ao monitoramento das operações de pipeline de dados, identifica problemas e escala se necessário.

Participa de tarefas de migração e conversão de dados sob supervisão de rotina.

Engenharia de dados: Nível 3

Nível 3 - Aplica: Essência do nível: Executa tarefas variadas, às vezes complexas e não rotineiras, usando métodos e procedimentos padrão. Trabalha sob direção geral, possui alguma liberdade e gerencia seu próprio trabalho dentro dos prazos. Aprimora proativamente as habilidades e o impacto no local de trabalho.

Segue abordagens padrão e os padrões de projeto estabelecidos para criar e implementar pipelines de dados simples e o armazenamento de dados para obter e preparar dados.

Aplica padrões e ferramentas de engenharia de dados para criar e manter pipelines de dados e executar processos de extração, transformação e carga (ETL), incorporando práticas de segurança e integridade de dados.

Contribui para projetos de migração e conversão de dados, garantindo a integridade e a consistência de dados.

Realiza verificações e correções rotineiras da qualidade dos dados.

Engenharia de dados: Nível 4

Nível 4 - Possibilita: Essência do nível: Realiza diversas atividades complexas, apoia e orienta outras pessoas, delega tarefas quando apropriado, trabalha de forma autônoma sob orientação geral e contribui com conhecimentos especializados para atingir os objetivos da equipe.

Projeta, implementa e mantém soluções complexas de engenharia de dados para obter e preparar dados.

Cria e mantém pipelines de dados para conectar o armazenamentos de dados, aplicações e organizações. Desenvolve em conformidade com a governança de dados e padrões de segurança.

Dá suporte ao desenvolvimento de práticas de integração e implantação contínuas. Monitora e otimiza o desempenho e a escalabilidade dos pipelines.

Realiza verificação da qualidade de dados complexos e a correção de problemas. Conduz atividades de migração de dados e conversão de dados.

Engenharia de dados: Nível 5

Nível 5 - Garante, aconselha: Essência do nível: Fornece orientação autorizada em seu campo e trabalha sob ampla direção. Responsável pela entrega de resultados significativos do trabalho, desde a análise, passando pela execução, até a avaliação.

Planeja e impulsiona o desenvolvimento de soluções de engenharia de dados, equilibrando requisitos funcionais e não funcionais.

Monitora a aplicação de padrões de dados, arquiteturas e segurança, garantindo a conformidade e escalabilidade.

Desenvolve e promove práticas contínuas de integração, implantação e monitoramento.

Contribui para políticas organizacionais, padrões e diretrizes para engenharia de dados.

Engenharia de dados: Nível 6

Nível 6 - Inicia, influencia: Essência do nível: tem influência organizacional significativa, toma decisões de alto nível, molda políticas, demonstra liderança, promove a colaboração organizacional e aceita a responsabilidade em áreas-chave.

Orienta a seleção e desenvolvimento de métodos, ferramentas e técnicas de engenharia de dados.

Desenvolve políticas, padrões e diretrizes organizacionais para o desenvolvimento e operação segura de serviços e produtos de dados.

Garante a adesão a estratégias e arquiteturas técnicas.

Planeja e lidera a engenharia de dados para programas estratégicos, de alto impacto, grandes e complexos, garantindo o alinhamento com os objetivos organizacionais e as práticas do setor.