Nasdaq usa a AWS para tornar-se pioneira no armazenamento de dados de bolsas de valores na nuvem

A Nasdaq é uma empresa multinacional de tecnologia e serviços financeiros que detém e opera a Bolsa de Valores Nasdaq. A Nasdaq opera um total de 27 mercados, um depositário central de títulos mobiliários e um centro de coordenação em uma série de classes de ativos na América do Norte e na Europa. Ela é a base de quase 4.000 empresas de capital aberto globalmente em seus mercados e também fornece sua tecnologia essencial à missão para outros operadores de infraestrutura de mercado localizados em 50 países.

A Bolsa de Valores Nasdaq é a maior franquia em volume de ações em todo o mundo. Ela gerencia a conciliação de compradores e vendedores em alto volume e velocidade, ao mesmo tempo que fornece dados que alimentam a cotação de preços de ações nas negociações celebradas eletronicamente. A Nasdaq conta com uma aplicação interna para capturar e armazenar todos os dados cambiais protegidos. “Esses dados incluem ordens, cotações, negócios e cancelamentos”, diz Robert Hunt, vice-presidente de engenharia de software da Nasdaq. Toda noite, a Nasdaq recebe bilhões de registros que precisam ser carregados nos processos de faturamento e relatórios antes da abertura dos mercados na manhã seguinte.

O ritmo e o volume das transações aumentaram à medida que as plataformas de negociação automatizadas entraram no mercado. Em 2014, para aumentar a escala e a performance e reduzir os custos operacionais, a Nasdaq migrou de um data warehouse on-premises herdado para o data warehouse da Amazon Web Services (AWS) habilitado por um cluster do Amazon Redshift. Entre 2014 e 2018, esse cluster do Amazon Redshift aumentou para 70 nós à medida que a empresa expandia a solução para oferecer suporte a todos os seus mercados norte-americanos. Em 2018, a solução ingeriu dados do mercado financeiro provenientes de fontes no período noturno, variando de 30 a 55 bilhões de registros e ultrapassando 4 terabytes.

Com o tempo, o maior volume de dados levou a uma mudança na abordagem do gerenciamento desses dados para análise. O processamento noturno em lotes, executado no warehouse, criou desafios no processamento de enormes volumes para cumprir prazos rigorosos. Os usuários dependem dos dados para executar atividades de faturamento, relatórios e vigilância. “Quando a volatilidade do mercado aumentou no início de 2018, os volumes de dados do warehouse aumentou substancialmente, atingindo um pico de cerca de 55 bilhões de registros por dia em 2018”, diz Hunt.

Práticas de negociação mais sofisticadas levaram a um crescimento vultuoso nos dados e foi essencial que a Nasdaq começasse a planejar uma evolução para uma nova arquitetura a fim de continuar a alcançar os padrões de performance e a excelência operacional que o ecossistema espera. “Precisamos carregar e consumir os 30 bilhões de registros no intervalo entre o fechamento do mercado e a manhã seguinte. O carregamento dos dados atrasava a entrega dos nossos relatórios”, diz Hunt. “Precisávamos ser capazes de gravar ou carregar dados em nossa solução de armazenamento de dados com muita rapidez e, ao mesmo tempo, sem interferir na leitura e nas consultas dos dados.”

Em 2018, a Nasdaq optou por desenvolver a base de um novo data lake no Amazon Simple Storage Service (Amazon S3), o que permite que a empresa separe computação e armazenamento e escale cada função de forma independente. Em implantações de data warehouses tradicionais, escalar a capacidade de armazenamento quase sempre exige que as empresas escalem, ao mesmo tempo, a capacidade computacional, pois a aplicação e o armazenamento estão intimamente ligados, exigindo modificações de hardware no local em caso de qualquer alteração na proporção dos dois. “Além da flexibilidade que surge com a separação entre computação e armazenamento, o Amazon S3 apresenta propriedades de escalabilidade melhores para gravação e leitura simultâneas de grandes conjuntos de dados”, diz Hunt. “O Amazon S3 nos deu uma solução que permite zero contenção entre o carregamento dos dados e os processos de consulta”.

O que começou como uma solução concentrada em performance tornou-se um data lake multiuso compartilhado entre equipes, gerando um benefício adicional para os negócios.