Engenharia de dados DENG
Projeto, construção, operacionalização, proteção e monitoramento de pipelines e estruturas de armazenamentos de dados.
Notas orientativas
As atividades podem incluir, entre outros:
- identificação de fontes de dados, conceitos e métodos de processamento de dados
- avaliação, projeto e implementação de soluções de engenharia de dados no local, baseadas em nuvem e híbridas
- estruturação e armazenamento de dados para usos tais como, entre outros: análise, machine learning, mineração de dados e compartilhamento com aplicativos e organizações
- coleta de dados estruturados e não estruturados;
- integração, consolidação e limpeza de dados
- migração e conversão de dados
- aplicação de princípios éticos no tratamento de dados
- garantia que os dados sejam armazenados adequadamente de acordo com a legislação pertinente
- criação em segurança, conformidade, escalabilidade, eficiência, confiabilidade, fidelidade, flexibilidade e portabilidade.
Níveis de responsabilidade para esta habilidade
| 2 | 3 | 4 | 5 | 6 |
Engenharia de dados: Nível 1
Essa habilidade normalmente não é observada ou praticada nesse nível de responsabilidade e prestação de contas.
Engenharia de dados: Nível 2
Auxilia no desenvolvimento e implementação de pipelines de dados e armazenamentos de dados. Executa tarefas administrativas para fornecer acessibilidade, recuperabilidade, segurança e proteção de dados.
Engenharia de dados: Nível 3
Projeta e implementa pipelines de dados e armazenamentos de dados para adquirir e preparar dados. Aplica padrões e ferramentas de engenharia de dados para criar e manter pipelines e extrair dados de transformação e carregamento. Realiza verificações de qualidade de dados de rotina e a possível correção dos mesmos.
Engenharia de dados: Nível 4
Projeta, implementa e mantém soluções complexas de engenharia de dados para adquirir e preparar dados. Cria e mantém pipelines para conectar dados dentro e entre armazenamentos de dados, aplicativos e organizações. Realiza verificação e correção de qualidade de dados complexos.
Engenharia de dados: Nível 5
Planeja e impulsiona o desenvolvimento de soluções de engenharia de dados, garantindo que as soluções equilibrem requisitos funcionais e não funcionais. Monitora a aplicação das normas e arquiteturas de dados, incluindo segurança e conformidade. Contribui para políticas, normas e diretrizes organizacionais para engenharia de dados.
Engenharia de dados: Nível 6
Orienta a seleção e o desenvolvimento de métodos, ferramentas e técnicas de engenharia de dados. Desenvolve políticas organizacionais, normas e diretrizes para o desenvolvimento e operação segura de serviços e produtos de dados. Garante a adesão às estratégias e arquiteturas técnicas. Planeja e conduz atividades de engenharia de dados para programas estratégicos, grandes e complexos.
Engenharia de dados: Nível 7
Essa habilidade normalmente não é observada ou praticada nesse nível de responsabilidade e prestação de contas.