Arquitetura de dados moderna do Amazon Redshift
O volume de dados gerados por IoT, dispositivos inteligentes, aplicações na nuvem e redes sociais está aumentando exponencialmente. Você precisa de maneiras de analisar de maneira fácil e econômica todos esses dados com o mínimo de tempo de insight, independentemente do formato ou de onde os dados estão armazenados.
O Amazon Redshift habilita a arquitetura de dados moderna, permitindo que você consulte dados no data warehouse, no data lake e nos bancos de dados operacionais para obter insights mais aprofundados e com maior rapidez, o que não seria possível de outra forma. Com uma arquitetura de dados moderna, é possível armazenar dados em formatos de arquivo abertos no data lake do Amazon S3. Isso permite que você disponibilize esses dados com facilidade para outras ferramentas de análise e machine learning, em vez de mantê-los inacessíveis em um novo silo.
Com a Arquitetura de dados moderna do Amazon Redshift, você pode:
- Consultar facilmente dados no seu data lake e gravá-los de volta no seu data lake em formatos abertos.
- Usar instruções SQL familiares para combinar e processar dados em todos os seus datastores.
- Executar consultas em dados ativos em seus bancos de dados operacionais sem exigir qualquer carregamento de dados e pipelines ETL.
Recursos
A arquitetura de dados moderna do Amazon Redshift é habilitada pelos seguintes recursos:
Amazon Redshift Spectrum
Consulte dados de formato aberto diretamente no data lake do Amazon S3 sem precisar carregá-los nem duplicar sua infraestrutura. Usando o recurso Amazon Redshift Spectrum, você pode consultar formatos de arquivo abertos, como Apache Parquet, ORC, JSON, Avro e CSV. Siga este tutorial detalhado para começar.
Data Lake Export
Salve os resultados de uma consulta do Amazon Redshift diretamente no seu data lake do S3 em um formato de arquivo aberto (Apache Parquet) usando o Data Lake Export. Depois, é possível analisar esses dados usando o recurso Amazon Redshift Spectrum, além de outros produtos da AWS, como o Sagemaker para machine learning e o EMR para operações de ETL. Assista a este vídeo de cinco minutos para começar.
Federated Query
O Federated Query permite que o Amazon Redshift consulte dados diretamente nos repositórios do Amazon RDS e do Aurora PostgreSQL. Isso permite incorporar dados operacionais oportunos e atualizados em suas aplicações de geração de relatórios e BI, sem nenhuma operação de ETL. Assista a este vídeo de cinco minutos ou leia este tutorial para começar.
“Utilizamos muitas ferramentas de análise da AWS e de terceiros e estamos contentes em ver que o Amazon Redshift continua adotando os mesmos padrões de transformação de dados variados que já adotamos com nossa própria solução. Utilizamos o recurso Redshift Spectrum do Amazon Redshift para consultar formatos de dados abertos em nosso data lake desde 2017 e, agora, com o novo recurso Redshift Data Lake Export, ganhamos a praticidade de gravar os dados de volta em nosso data lake. Tudo isso com uma performance rápida e consistente, mesmo com nossas cargas de consulta mais altas. Esperamos aproveitar a sinergia de uma pilha de big data integrada para gerar mais compartilhamento de dados entre os clusters do Amazon Redshift e obter mais valor a um custo menor para todos os nossos jogos.”
Kurt Larson, diretor técnico de operações de marketing analítivo - Warner Bros. Análise
Recursos
ETL e padrões de design de ELT para arquitetura de dados moderna usando o Amazon Redshift: Parte 1
Desenvolva padrões de ETL e design de ELT escaláveis para arquitetura de dados moderna usando o Amazon Redshift: Parte 1.
Conceitos básicos do Amazon Redshift Spectrum
Tutorial detalhado para começar a usar o Amazon Redshift Spectrum.
Como escalar análises de dados com o Amazon Redshift
Saiba como a empresa de entretenimento Warner Bros usa o Amazon Redshift para escalar suas workloads de análise de dados.
Cadastre-se para obter uma conta da AWS e acesso instantâneo ao nível gratuito da AWS.
Obtenha experiência prática e gratuita com os produtos, plataforma e os serviços da AWS.
Migre seus bancos de dados com rapidez e segurança com o AWS Database Migration Service.