Ao migrar para a nuvem AWS, SiBBr torna ilimitada a capacidade de armazenamento de dados

O Sistema de Informação sobre a Biodiversidade Brasileira (SiBBr), plataforma do Ministério de Ciência, Tecnologia e Inovações (MCTI), criada pela Rede Nacional de Ensino e Pesquisa (RNP) em 2012, tem o objetivo de se tornar um repositório com informações sobre a fauna, a flora e toda a cadeia de biodiversidade brasileira. Até 2017 ele funcionou na estrutura interna da RNP, que atingiu seu limite de armazenamento. Em 2019, o SiBBr, em uma nova plataforma, foi migrado para a nuvem da AWS, onde passou a contar com alta disponibilidade e capacidade ilimitada de armazenamento de dados.

O título de país mega diverso faz jus à riqueza natural que é possível encontrar no Brasil, o território tropical de proporções continentais que detém a maior variabilidade genética de todo o mundo – cerca de 20% de toda biodiversidade do planeta. No maior país da América do Sul, mais de 49 mil espécies compõem a flora e quase 120 mil tipos de animais integram a fauna brasileiras. A biodiversidade do país é considerada patrimônio mundial, o que vincula o Brasil a uma das questões apontadas como uma das mais urgentes no mundo nas últimas décadas: a preservação ambiental.

E conhecer o que precisa ser preservado é o primeiro passo de um caminho necessário e também cheio de desafios, considerando tamanha variabilidade de espécies e ecossistemas distribuída na extensão territorial brasileira. Resposta à altura de tamanha complexidade, o Sistema de Informação sobre a Biodiversidade Brasileira (SiBBr) é uma solução tecnológica criada e customizada para reunir e dar acesso a dados e informações para subsidiar políticas públicas, apoiar ações de conservação e de uso sustentável bem como promover o conhecimento da nossa biodiversidade.

A plataforma é um repositório que integra informações científicas sobre toda a cadeia de biodiversidade brasileira e abriga 311 coleções biológicas detalhadas com dados moleculares, fotografias, descrição das espécies, informações sobre ameaças e acesso a publicações científicas, provenientes de fontes de dados de 141 instituições do Brasil e de outras partes do mundo. São 464 conjuntos de dados que geram mais de 16 milhões de ocorrências de biodiversidade e esses números vêm crescendo a cada dia.

Antes de tamanho volume, tudo começou “dentro de casa”. Inicialmente, o SiBBr foi implementado em uma estrutura física, hospedada no data center da Rede Nacional de Ensino e Pesquisa (RNP). A plataforma também era diferente. A primeira versão foi baseada em uma solução disponibilizada pelo governo do Canadá e funcionou até 2017. Entretanto, os recursos necessários para a disponibilização de dados, assim como os registros incluídos na plataforma, cresceram muito. Com esse crescimento, a plataforma começou a apresentar falhas no cadastramento de novos registros e na apresentação dos dados, uma vez que seu limite de processamento era de 250 mil registros.

Por isso, ganhou nova versão em 2019. A ferramenta, consultada internacionalmente, necessitava de mais armazenamento dado o volume de informações, de uma infraestrutura de alta disponibilidade, com maior robustez, capaz de oferecer melhor experiência para o usuário e pronta para ser utilizada em nuvem. Era exatamente o que oferecia a plataforma Atlas of Living Australia (ALA), atualmente adotada por 27 países. Como nó brasileiro e membro votante no Global Biodiversity Information Facility (GBIF) – iniciativa que congrega dados sobre biodiversidade de mais de 60 países –, o SiBBr conquistou o direito de utilizar a solução.

Desenvolvida em código aberto, com utilização de padrões internacionais que facilitam o compartilhamento, publicação e cruzamento de dados, a nova plataforma foi customizada, implementada e operada pela RNP, com fomento e coordenação do Ministério da Ciência, Tecnologia e Inovações (MCTI). Além dos recursos públicos, a iniciativa também contou com financiamento do Programa das Nações Unidas para o Meio Ambiente (PNUMA).

Então, o novo SiBBr precisava do fornecedor da infraestrutura em nuvem que o hospedaria. O que foi encontrado no NasNuvens, novo serviço da RNP que qualifica e negocia em prol da comunidade acadêmica e tecnológica melhores condições para oferta de serviços em nuvem para ensino, pesquisa e inovação.

No NasNuvens, que conta com provedores globais de serviços em nuvem qualificados para oferta de Infraestrutura como Serviço (IaaS) às 800 instituições que fazem parte do Sistema RNP, a nuvem da Amazon Web Services foi a solução que atendeu todos os requisitos e apresentou o melhor custo-benefício à demanda do SiBBr.

Ao ser remodelada, a plataforma foi adequada para sustentar a arquitetura de contêineres e cluster e ser operada na nuvem AWS, onde passou a contar com alta disponibilidade e capacidade ilimitada de armazenamento de dados. Na nuvem, esses dados estão digitalizados, organizados, atualizados e padronizados. O que facilita a divulgação e democratiza o conhecimento científico, na opinião de Luiz Henrique Mourão, coordenador Geral de Biomas do MCTI e responsável pelo SiBBr. “Com o advento das tecnologias da informação e infraestrutura de redes, além da criação de padrões internacionais para compartilhamento de base de dados, tornou-se possível a disponibilização de dados e informações de forma online. Dessa forma, por meio do SiBBr, qualquer pessoa pode ter acesso às informações sobre a biodiversidade brasileira, de forma livre e aberta. Também é uma forma de assegurar que as informações dos acervos de museus e coleções biológicas sejam replicadas em repositórios virtuais”, defende.

“Na busca pela infraestrutura em nuvem, premissas definidas como maturidade, confiabilidade e uma plataforma aderente à arquitetura que queríamos utilizar, com containers e cluster com kubernetes foram atendidas pela AWS perfeitamente”, explica Bruno Silva, coordenador de desenvolvimento de sistemas na RNP responsável pela implantação, desenvolvimento e sustentação da plataforma.

Com o NasNuvens, essa jornada para a nuvem foi mais curta e rápida. Graciela Martins, gerente de soluções da RNP responsável pela implantação e evolução do negócio, explica o porquê. “O NasNuvens já tem global providers como a AWS qualificados no catálogo de serviços oferecidos. O que significa que, quando a equipe do SiBBr foi em busca de um fornecedor, esses provedores já tinham passado por critérios de homologação, se submetido e atendido a vários requisitos antecipadamente. Isso traz agilidade, confiabilidade e qualidade em uma contratação facilitada dos serviços. As ofertas já estão aptas para serem consumidas, economizando tempo e recurso. Sem falar no valor agregado. Isto é, a RNP oferece também toda a expertise que seus profissionais têm, em forma de consultoria, ao indicar qual é a melhor arquitetura para determinada demanda, já pensando na nuvem”, justifica Graciela.

A  implementação da nova plataforma foi realizada entre 2018 e 2019 e o projeto, que já tinha um grande volume de dados, estava cercado pela expectativa de atingir mais de 15 milhões de registros. “Precisávamos mostrar que o Brasil também implementaria a plataforma e teria um volume de dados adequado. Para isso, reescrevemos a arquitetura para a implementação e utilizamos diversos serviços AWS”, argumenta Bruno Silva.

O novo SiBBr foi lançado em agosto de 2019 e, de lá para cá, tem demonstrado alta performance. Essa nova versão da plataforma está disponível para uso há mais de um ano e seu desempenho tem sido bastante positivo. Só no último ano, mais de um milhão de registros de ocorrências foram incluídos por instituições usuárias da plataforma.

“Um grande desafio no projeto, em sua etapa de planejamento, foi o dimensionamento adequado do uso de capacidade computacional. O nível de incerteza na época era muito grande, não conseguiríamos emplacar uma configuração adequada em um ambiente on-premises. Neste sentido, a nuvem veio agregar o papel de elasticidade. O que foi fundamental, pois conseguimos progressivamente adequar os recursos computacionais ao longo da evolução do projeto e, consequentemente do produto, sem a necessidade de um grande desembolso financeiro na etapa inicial do trabalho”, explica Marcello de Jesus, gerente de sistemas da RNP.

Armazenamento, disponibilidade, segurança, elasticidade, flexibilidade e alta performance são algumas das vantagens angariadas com a adesão à estrutura oferecida pela AWS, fundamentais para o funcionamento do sistema. Economicidade e melhor gestão dos recursos foram outros benefícios da migração da plataforma para a nuvem, já que é possível expandir a infraestrutura de acordo com a demanda.

“No modelo on-premises, teríamos que construir uma estrutura pelo pico. Isso nos ajuda também no planejamento estratégico: conseguimos medir a taxa de investimento e prever os valores necessários”, esclarece Bruno Silva, que coordenou a implantação da plataforma. Visão endossada por Christian Miziara, gerente de soluções da RNP responsável pela execução do projeto: “No ambiente físico, teríamos que aumentar nossa equipe, que é reduzida. Priorizamos o desempenho do sistema e a possibilidade de aumentar conforme a necessidade”.

Hoje, o funcionamento do SiBBr utiliza a plataforma e serviços específicos AWS:

Amazon Elastic Kubernetes Service (Amazon EKS), faz a gestão de conteineres Docker, com a implantação dos módulos da plataforma feita por meio do CI/DI (Gitlab Runner) e templates HelmCharts.

 

• Amazon Elastic Compute Cloud (Amazon EC2) é utilizado para a entrega de instâncias de cluster provisionadas automaticamente pelo Hashicorp Terraform.
• Amazon Elastic Kubernetes Service (Amazon EKS), faz a gestão de conteineres Docker, com a implantação dos módulos da plataforma feita por meio do CI/DI (Gitlab Runner) e templates HelmCharts.
• Amazon Elastic Container Registry (Amazon ECR), faz o registro das imagens dos módulos.
• A estrutura conta ainda com o Elastic Load Balancing, o Amazon Route 53, o Amazon Simple Storage Service (Amazon S3), Amazon Relational Database Service (Amazon RDS) e o Amazon CloudWatch, trabalhando em conjunto na seguinte arquitetura:

Desde que entrou em operação, a nova plataforma do SiBBr vem crescendo em consultas. Somente no mês de janeiro de 2021, o sistema teve um total de 50.404 páginas visualizadas, com picos de mais de 3 mil acessos diários e recebeu visita de 10.262 usuários. Deles, 9.549 eram novos.

Além da disponibilidade de informações, a nova plataforma garante mais espaço de armazenamento e processamento para a inclusão de novos dados. Quem se beneficia com as vantagens da solução em nuvem são usuários da plataforma, como a botânica Rafaela Forzza, pesquisadora do Jardim Botânico do Rio de Janeiro.

A pesquisadora é uma das responsáveis por apoiar a captura de milhões de novos registros que estão disponíveis no SiBBr. Entre os projetos notáveis coordenados por Rafaela, que colaboram para enriquecer esse acervo, estão: o herbário virtual Reflora, que repatriou dados e amostras de plantas coletadas em território brasileiro exibidas em museus fora do Brasil. Esses dados foram incluídos e ampliados no SiBBr, abrangendo herbários do mundo como Londres, Paris, Estocolmo, Nova York e Missouri.

Além disso, até 2017, Rafaela e outros pesquisadores recuperaram dados que deixaram o Brasil desde o século XVIII. A integração com o SiBBr permitiu também a criação de estações fotográficas nos herbários nacionais para a digitalização dos dados locais e ampliação do acervo. “Estes dados foram incluídos no Reflora e compartilhados com o SiBBr. Hoje são 3,8 milhões de registros de ocorrência, que são integralmente compartilhados dentro do SiBBr”, comemora.

A cientista também coordena o projeto Flora do Brasil, que reúne cerca de mil taxinomistas, que juntos, cadastraram todas espécies conhecidas da flora brasileira, que resultou em uma lista publicada com todas as espécies de plantas, algas e fungos conhecidas no Brasil: a Flora do Brasil. O mesmo foi feito para as espécies da fauna, por um grupo de zoólogos, coordenado pela Sociedade Brasileira de Zoologia, que gerou o Catálogo Taxonômico da Fauna do Brasil. Essa parceria é quem fornece grande parte dos registros de ocorrência do SiBBr.

Segundo a bióloga, o SiBBr transformou o ambiente científico há muito tempo por ela conhecido. “A iniciativa surgiu em meio a um cenário no país com certa expertise na divulgação de coleções biológicas, com instituições e projetos bem consolidados. Mas essas iniciativas que não ‘se falavam’ antes, hoje se ‘falam’ via SiBBr. O SiBBr melhorou em vários aspectos o trabalho que já fazíamos, mas que antes estava desagregado e era feito de maneiras distintas por cada organização. Quando você homogeneíza formas de captura de dados, você melhora a qualidade dos dados produzidos e divulgados e eles são mais bem consumidos pela comunidade científica e pelos tomadores de decisão. Por isso, padronizar essas informações também foi revolucionário”, defende.