O que é governança de dados?

De acordo com o Gartner, até 2025, 80% das organizações que buscam expandir os negócios digitais falharão porque não adotam uma abordagem moderna para a governança de dados e análises. Não é de admirar que os diretores de dados identifiquem a governança de dados como a principal prioridade de suas iniciativas de dados. Em uma pesquisa de 2023 com 350 CDOs e funções equivalentes a CDO, o CDOIQ do MIT descobriu que 45% dos diretores de dados identificam a governança de dados como uma prioridade máxima. Esses líderes de dados estão procurando implementar um modelo de governança que permita disponibilizar dados para as pessoas e aplicações certas quando precisarem, mantendo os dados seguros e protegidos, com controles apropriados em vigor. 

Historicamente, a governança tem sido empregada para bloquear dados em silos, com o objetivo de evitar o vazamento ou o uso indevido de dados. No entanto, a consequência dos silos de dados é que usuários legítimos precisam superar barreiras para ter acesso aos dados quando precisarem. Inadvertidamente, a inovação baseada em dados é sufocada.

Você tem duas alavancas para tornar a governança um facilitador da inovação: acesso e controle. A chave para o sucesso é encontrar o equilíbrio certo entre acesso e controle, e o ponto de equilíbrio é diferente para cada organização. Quando você exerce muito controle, os dados ficam presos em silos e os usuários não conseguem acessá-los quando precisam. Isso não apenas sufoca a criatividade, mas também leva à criação de sistemas de TI paralelos que deixam os dados desatualizados e inseguros. Por outro lado, quando você fornece muito acesso, os dados acabam em aplicações e armazenamentos de dados que aumentam o risco de vazamento de dados.

Estabelecer a governança correta, que equilibre acesso e controle, dá às pessoas confiança nos dados, promovendo a descoberta, a curadoria, a proteção e o compartilhamento apropriados dos dados. Isso incentiva a inovação e, ao mesmo tempo, protege os dados.

A governança de ML aplica muitas das mesmas práticas de governança de dados ao ML. A qualidade e a integração de dados precisam fornecer os dados necessários para o treinamento do modelo e a implantação da produção (os arquivos de atributos são um aspecto importante disso). A inteligência artificial (IA) responsável está prestando atenção especial ao uso de dados confidenciais para criar modelos. Os recursos adicionais de governança de ML incluem permitir que as pessoas participem da criação, implantação e monitoramento de modelos; documentação do treinamento, do versionamento , dos casos de uso compatíveis e da orientação do uso ético do modelo; e monitoramento da precisão, do desvio, do ajuste excessivo e do ajuste inadequado do modelo em produção.

A IA generativa requer recursos adicionais de governança de dados, como qualidade e integridade dos dados, para apoiar a adaptação de modelos básicos para treinamento e inferência, governança da toxicidade e viés da IA generativa e operações do modelo de base (FM): FMOps.

Você pode oferecer suporte à IA/ML com o mesmo programa de governança de dados. A preparação de dados é necessária para transformar os dados em um formato que os modelos de IA/ML possam usar para treinamento e inferência de produção, mas a preparação de dados mais eficiente é aquela que você não precisa fazer. Os cientistas de dados gastam muito tempo preparando dados para cada caso de uso. Sua equipe de governança de dados pode ajudar a aliviar esse trabalho pesado e indiferenciado. Além disso, a governança de dados pode supervisionar a criação de arquivos de atributos moldados para serem usados em casos de uso de IA e ML.

Por fim, os dados confidenciais precisam ser protegidos adequadamente, para que sua equipe possa mitigar os riscos de uso de dados confidenciais para treinar os modelos básicos.

Assim como a análise em geral, você precisa controlar o uso de modelos de IA/ML que você cria ou personaliza. O ideal é que isso esteja intimamente associado à governança analítica, porque essa função saberá como oferecer suporte a várias áreas de negócios.

Seu programa de governança de dados deve equilibrar centralização e descentralização (incluindo autoatendimento). Em toda a sua organização, você terá uma combinação de governança centralizada, federada e descentralizada. Novamente, dependendo dos requisitos da empresa. Você deve capacitar as equipes de domínio o máximo possível e, ao mesmo tempo, manter a coerência entre os domínios (como a capacidade de vincular dados).  

• Governança de dados centralizada: as organizações centrais são, em última instância, responsáveis por declarações de missão, políticas, escolhas de ferramentas e muito mais. As ações do dia-a-dia são muitas vezes inseridas nas Lines of Business (LOBs – Linhas de negócios).
• Governança de dados federados: a governança federada de dados capacita unidades de negócios individuais ou iniciativas de negócios a operar da maneira que melhor atenda às suas necessidades. Com a governança de dados federada, ainda há uma equipe centralizada menor que concentra seu trabalho na solução de problemas que se repetem com mais frequência, incluindo ferramentas de qualidade de dados em toda a empresa, por exemplo.
• Governança de dados de autoatendimento ou descentralizada: cada LOB faz o que precisa para seu projeto específico. Cada projeto usa quaisquer ferramentas ou processos de outros projetos em que haja uma solução adequada para uso. À medida que tópicos como a data mesh (ela própria descentralizada) aumentam em popularidade, o mesmo acontece com a governança de dados de autoatendimento. 

A governança de dados exige soluções de pessoas, processos e tecnologia em uma variedade de recursos.

Organize dados em grande escala para limitar a dispersão de dados. Organizar seus dados em grande escala significa identificar e gerenciar suas fontes de dados mais valiosas, incluindo bancos de dados, data lakes e data warehouses, para que você possa limitar a proliferação e a transformação de ativos de dados críticos. A curadoria de dados também significa garantir que os dados certos sejam precisos, atualizados e livres de informações confidenciais, para que os usuários possam ter confiança nas decisões orientadas por dados e nas aplicações de alimentação de dados.

Recursos: gerenciamento da qualidade de dados, integração de dados e gerenciamento de dados mestres

Descubra e compreenda seus dados no contexto para acelerar as decisões baseadas em dados. Entender seus dados no contexto significa que todos os usuários podem descobrir e compreender o significado de seus dados para que possam usá-los com confiança para gerar valor comercial. Com um catálogo de dados centralizado, os dados podem ser facilmente encontrados, o acesso pode ser solicitado e os dados podem ser usados para tomar decisões de negócios.

Recursos: criação de perfil de dados, linhagem de dados e catálogos de dados

Proteja e compartilhe seus dados de maneira segura com controle e confiança. Proteger seus dados significa ser capaz de encontrar o equilíbrio certo entre privacidade, segurança e acesso aos dados. É essencial ser capaz de controlar o acesso aos dados além das fronteiras organizacionais, com ferramentas intuitivas para usuários corporativos e de engenharia.

Recursos: ciclo de vida dos dados, conformidade e segurança dos dados

Reduza o risco comercial e melhore a conformidade regulatória. Reduzir o risco significa entender como esses dados estão sendo usados e por quem. Os serviços da AWS ajudam você a monitorar e auditar o acesso aos dados, inclusive o acesso por meio de modelos de ML, para ajudar a garantir a segurança dos dados e a conformidade regulatória. O machine learning também exige transparência na auditoria para garantir o uso responsável e a simplificação dos relatórios.

Recursos: auditoria de uso de dados e ML

Com a governança de dados de ponta a ponta na AWS, as organizações têm controle sobre onde seus dados estão, quem tem acesso a eles e o que pode ser feito com eles em cada etapa do fluxo de trabalho de dados. A governança de dados com a AWS ajuda as organizações a acelerar as decisões baseadas em dados, facilitando que as pessoas e as aplicações certas encontrem, acessem e compartilhem com segurança os dados certos quando precisarem. Você pode organizar os dados automatizando a integração e a qualidade dos dados para limitar a proliferação de dados. Você pode descobrir e entender seus dados com catálogos centralizados que impulsionam a alfabetização em dados. Você pode proteger seus dados com permissões precisas que permitem compartilhar dados com confiança. Você pode reduzir o risco e melhorar a conformidade regulatória monitorando e auditando o acesso aos dados.

• Amazon DataZone: desbloqueie dados entre limites organizacionais com governança integrada
• AWS Glue: descubra, prepare e integre todos os seus dados em qualquer escala
• AWS Lake Formation: crie, gerencie e proteja data lakes em dias
• Amazon QuickSight: business intelligence unificada em hiperescala
• Amazon SageMaker: crie, treine e implante modelos de machine learning para casos de uso com infraestrutura, ferramentas e fluxos de trabalho totalmente gerenciados
• Página da Web de governança de ML
• Amazon Bedrock: a maneira mais fácil de criar e escalar aplicações de IA generativa com modelos de base (FMs)
• Amazon Macie : descubra e proteja dados confidenciais em grande escala
• Amazon Simple Storage Service (Amazon S3): armazenamento de objetos desenvolvido para armazenar e recuperar quaisquer quantidades de dados de qualquer lugar
• AWS Data Exchange: encontre, assine e use dados de terceiros com facilidade na nuvem
• AWS Clean Rooms: crie salas limpas em minutos para colaborar com seus parceiros sem compartilhar dados brutos

Comece a usar a governança de dados na AWS criando uma conta gratuita hoje mesmo.