Alarmes e a tela 24/7

O registro de alarmes

O roteador verifica a si mesmo a cada minuto e mantém uma linha por problema, com a hora em que ele começou. Um alarme é disparado após 2 verificações com falha seguidas (um serviço crítico e o serviço DHCP disparam na hora) e é limpo após 2 verificações boas. Cada disparo e cada limpeza ficam guardados em um histórico.

dtvsol alarms                 # what is wrong now, and since when
dtvsol alarms all             # with the ones cleared in the last 7 days
dtvsol alarms history 50      # the last 50 raises and clears

Cada alarme tem um nível (critical, warning ou info) e uma área:

Área	O que abrange
OLT	as OLTs, as suas portas PON, as fibras alimentadoras (feeder), o coletor
Clients’ ONUs	níveis de fibra, erros de linha, ONTs que ficaram offline
Network	o uplink e a rota padrão, os bonds e os seus membros LACP, portas sem link, links instáveis (flapping)
Server	CPU, memória, processos encerrados por falta de memória (OOM), temperaturas, discos, as units e os timers do roteador
Services	DHCP, pools de endereços, CGNAT, anti-spoofing, a licença

Algumas das verificações:

• a porta ou o bond de uplink está fora, ou não há rota padrão;
• um membro de bond está sem link ou fora do agregador LACP;
• uma porta que leva endereços ou VLANs está sem link, ou o seu link muda com frequência;
• uma unit do roteador falhou ou parou, ou o job de um timer falhou;
• / ou /opt está 90 % cheio (crítico a 95 %);
• CPU ocupada acima de 90 %, memória disponível abaixo de 10 %, a tabela de connection tracking acima de 80 %, um sensor perto do seu limite, erros e overruns em uma porta;
• os alertas de fibra do coletor da OLT (veja OLT);
• a licença termina em até 14 dias, é inválida, ou a sua última renovação falhou.

Os alarmes limpos e os seus eventos são apagados após 90 dias.

Os alarmes são mostrados no roteador, no monitor e na tela 24/7, e podem ser enviados a pessoas por e-mail, Telegram, WhatsApp ou SMS: veja Notificações.

Alterações que falharam

Uma alteração pode falhar do lado do roteador mesmo quando a entrada estava certa: o BIRD recusa uma configuração ou só a coloca na fila, o teste do dhcpd do seu novo arquivo falha, uma etapa de firewall ou de rede falha, uma OLT recusa uma escrita. Quem fez a alteração vê o erro na hora, mas os outros não, e o roteador pode ficar alterado pela metade. Por isso cada falha desse tipo também é um alarme:

• disparado na próxima verificação (em até um minuto), um aviso (warning) na área do que foi alterado;
• um alarme por tipo de alteração (change/bgp/set, change/services/suspend…), com quantas vezes falhou, o último erro, quem pediu e quando;
• ele permanece até que alguém o reconheça (acknowledge), ou por 24 horas após a última falha.

Uma entrada errada (uma recusa com uma resposta 4xx) não é uma falha: ela não alterou nada.

dtvsol alarms failures 20              # the last 20 failed changes, acknowledged or not
dtvsol alarms ack change/bgp/set       # seen to: the alarm clears
dtvsol alarms ack all

Desvio (drift): o que roda comparado às configurações

A cada minuto o roteador também compara o que realmente está rodando com o que as suas configurações dizem. Uma alteração que funcionou pela metade, um arquivo editado à mão ou um serviço que nunca leu o seu novo arquivo aparece como um alarme de drift (desvio), com o comando que o corrige:

Parte	O que é comparado	Correção
BIRD	/etc/bird/bird.conf com as configurações de roteamento; os protocolos que o BIRD executa com o seu arquivo; uma alteração de roteamento ainda aguardando após o prazo (crítico)	dtvsol alarms repair bird
DHCP	Os arquivos do dhcpd dos serviços e dos clientes com os seus registros; o dhcpd iniciado depois da última alteração dos seus arquivos (ele só os lê quando inicia)	dtvsol alarms repair dhcp
Contabilização	Duas regras de contagem de tráfego por assinante	dtvsol alarms repair accounting
CGNAT	As regras de NAT de cada assinante com um bloco de portas	dtvsol alarms repair cgnat
Rede	Portas, bonds, VLANs, endereços e rotas padrão com as configurações de rede	Aplique as configurações novamente no monitor (Settings → Interfaces)

Uma correção escreve a parte novamente a partir das configurações e a recarrega; o alarme é limpo nas duas verificações seguintes. A rede não é corrigida por um comando: aplicá-la pode deixar o roteador isolado, então ela passa pela confirmação em 120 segundos do monitor.

Leituras de saúde

Cada verificação também registra a saúde do roteador: CPU (e o softirq do núcleo mais ocupado, onde aparece o trabalho de pacotes de um roteador), memória, temperaturas, discos, a tabela de connection tracking e os erros e overruns por minuto de cada porta. A aba Alarms do monitor mostra essas leituras ao lado dos alarmes de cada área.

Alertas

O dtvsol alerts lista as condições que merecem atenção agora, sem o histórico: DHCP fora, links de VLAN fora, pools e CGNAT quase cheios, dispositivos desconhecidos, descartes do anti-spoofing, alertas de fibra e a licença. O registro de alarmes é construído sobre essas verificações e acrescenta as do próprio roteador.

dtvsol alerts

O doutor de configuração

dtvsol doctor            # everything, including the registered OLT
dtvsol doctor --no-olt   # the router only (fast)

O doutor audita a configuração e se ela sobrevive a uma reinicialização. Cada achado tem uma severidade, o problema, o detalhe e uma correção. Veja Solução de problemas para as suas áreas.

A tela 24/7

A tela 24/7 (wall) é uma página para um monitor na sala de suporte. Ela é escura, grande, legível do outro lado da sala e não tem nada para clicar.

Ela mostra:

• uma faixa no topo: ALL OK, o número de WARNINGS ou o número de alarmes CRITICAL (pulsando);
• os alarmes ativos, os piores e mais antigos primeiro, com quanto tempo cada um já dura. Os alarmes disparados nos últimos 10 minutos pulsam;
• um bloco por área: OLTs lidas, ONTs online e com sinal fraco, o uplink e os bonds, CPU, memória e temperatura, DHCP, clientes, serviços e uso do CGNAT;
• o tráfego de entrada e saída do uplink e as ONTs online;
• os últimos disparos e limpezas.

A página é atualizada a cada 15 segundos. Se o roteador não responder por um minuto, a faixa muda para NO CONTACT WITH THE ROUTER e o resto fica cinza, para que uma imagem antiga nunca seja confundida com uma boa.

Configurar uma tela

Uma tela 24/7 não usa o login de uma pessoa. Ela usa uma chave de tela (display key) que só pode mostrar a tela 24/7.

1. Crie uma chave para a tela. O comando mostra um link:

   dtvsol monitor wall add support-tv

   wall-add: support-tv. Open this once on the screen (it stays signed in, for the wall only):
     https://XXX.XXX.XXX.10:8881/wall?k=<key>
   The screen's address must be allowed: dtvsol protect add <its address>.

2. Permita o endereço da tela:

   dtvsol protect add XXX.XXX.XXX.40 "support-tv"

3. Na tela, abra o link uma vez no navegador dela. Aceite o certificado autoassinado. A chave vira o cookie do navegador, e a página passa para https://<router>:8881/wall.

A chave não expira até que você a revogue. Mantenha o link em sigilo: qualquer navegador em um endereço permitido que o abrir pode mostrar a tela 24/7. Ele não pode alterar nada.

Modo quiosque

Execute o navegador em tela cheia, sem barras de ferramentas, e inicie-o com a tela 24/7. Por exemplo, com o Chromium em um pequeno PC Linux:

1. Abra o link uma vez em uma janela normal do Chromium (passo 3 acima), para que o certificado seja aceito e o cookie fique guardado nesse perfil.

2. Inicie o Chromium em modo quiosque com o mesmo perfil, no login:

   chromium --kiosk --noerrdialogs --disable-session-crashed-bubble \
     https://XXX.XXX.XXX.10:8881/wall

3. Desative o protetor de tela e a economia de energia no PC e na TV.

A página pede ao navegador que mantenha a tela ligada onde for possível, desloca a imagem alguns pixels a cada 10 minutos para proteger o painel e se recarrega cerca de uma vez por dia para pegar uma nova versão.

Gerenciar telas

dtvsol monitor walls                # the screens with a key
dtvsol monitor wall del support-tv  # revoke it

Uma tela revogada mostra THIS SCREEN’S KEY WAS REVOKED na sua próxima atualização. Para dar a ela uma nova chave, apague a antiga e adicione-a novamente.

Um usuário do monitor com login também pode abrir /wall. Veja A tela 24/7.