GT BackStreamDB

Resultados


O protótipo produzido pelo GT-BackStreamDB foi desenvolvido baseado no conceito de serviços Web e implementado utilizando o arcabouço PerfSONAR, integrado ao MonIPÊ. A comunicação entre os diversos componentes do protótipo é realizada através da requisição e obtenção de serviços, dentre os quais podem ser citados:

  • Cadastrar uma consulta ou métrica de interesse;
  • Obter a lista de consultas ou métricas disponíveis e requisitar resultados de consultas ou medições.
  • O protótipo funciona de maneira distribuída, possibilitando que parte do processamento dos fluxos de registros Netflow dos Pontos de Presença (PoP) da RNP seja realizada localmente, bem como permite que os diversos fluxos sejam unidos em um único, provendo uma visão do backbone como um todo. Dessa forma, toda a comunicação entre a interface Web, na qual o usuário registra novas métricas com o Sistema Gerenciador de Streams de Dados (SGSD) Borealis, bem como a comunicação entre o SGSD e a interface Web, na qual as medições são visualizadas, é realizada dentro do arcabouço MonIPÊ/PerfSONAR. A arquitetura proposta para o serviço piloto é apresentada na figura abaixo.

    Os principais componentes do sistema são:

  • Sistema Gerenciador de Streams de Dados (SGSD) Borealis: O SGSD Borealis é um SGSD distribuído, que possui características inovadoras tais como registros de revisão, viagem no tempo e linhas de controle. Além disso, tal como em qualquer banco de dados distribuído, o Borealis também permite integração dos dados e compartilhamento de recursos e também implementa mecanismos de tolerância a falhas, processamento distribuído, escalabilidade, e balanceamento e dispersão de carga. A arquitetura distribuída do SGSD é apropriada para a monitoração de um backbone, pois permite que parte do processamento do fluxo possa ser realizado próximos aos pontos de captura dos registros. Além disso, à medida que o tráfego da rede aumenta, é possível configurar o sistema para integrar novos nodos de processamento, tornando o sistema de monitoração escalável. Para que os registros possam ser processados pelo SGSD é necessário existir um módulo de aquisição, que faz a conversão dos dados para o formato de entrada do SGSD.

  • O Serviço Web ps-rnp-backstream: O serviço Web foi criado para padronizar o acesso ao Sistema Gerenciador de Streams de Dados (SGSD) Borealis. Através deste serviço é possível registrar novas consultas, listar consultas registradas e requisitar informações sobre consultas previamente registradas. Ele foi desenvolvido utilizando padrões definidos pela plataforma PerfSONAR [http://www.perfsonar.net], que também é utilizada pelo arcabouço MonIPÊ, o que facilita a integração destes sistemas. O ps-rnp-backstream desempenha o papel de um ponto de armazenamento (MA) e de um ponto de medição(MP), pois disponibiliza as medições geradas pelo SGSD, além de armazená-las em um SGBD para permitir a consulta a dados históricos.

  • A Ferramenta de registro de consultas QueryReg: O QueryReg é uma ferramenta Web destinada ao auxílio no registro de consultas, tanto ao Borealis quanto ao serviço Web ps-rnp-backstream. Sua grande vantagem em relação ao registro manual das consultas é a utilização de validadores e formatadores cuja disposição apresenta-se de maneira mais amigável ao usuário. Ainda assim, esta ferramenta mantém a codificação bruta (em XML) das consultas, caso o usuário deseje fazer modificações mais avançadas na consulta a ser registrada.

  • A Ferramenta de Visualização StreamGraph: Foi desenvolvido o StreamGraph, que é um plugin para a ferramenta ICE, desenvolvida pelo projeto MonIPÊ para a visualização de resultados de diferentes tipos de medições. Este plugin comunica-se com um serviço Web ps-rnp-backstream para a obtenção de informações e resultados gerados pelas consultas.
  • Na arquitetura proposta, o módulo de aquisição de registros Netflow, juntamente com um nodo de processamento do SGSD Borealis são instalados em cada PoP participante. O nodo de controle Borealis que faz a união de todos os fluxos capturados e pré-processados, chamado de controle, é instalado no mesmo servidor Web que executa o ps-rnp-backstream. Esta arquitetura foi definida de forma que parte do processamento do fluxo possa ser realizado localmente, minimizando assim o tráfego de dados de monitoração na rede, e permitindo a distribuição de carga de processamento entre vários nodos. A estrutura das consultas geradas pela ferramenta QueryReg é apresentada na figura abaixo.

    A arquitetura apresentada pode ser reproduzida para a monitoração de outras redes, bastando para tal a instalação do um outro servidor ps-rnp-backstream e a configuração do SGSD Borealis e das ferramentas QueryReg e StreamGraph para comunicarem-se com o mesmo. Dessa forma, cada PoP participante, bem como outras instituições, poderiam utilizá-lo de forma local e independente.