Ocorrências
operacionais

A equipe de operações identificou o motivo da falha, que está relacionado a uma instabilidade na comunicação entre os equipamentos de Failover (Firewalls e Switches). 

Houve um evento onde o Firewall de failover (secundário) 
assumiu a estrutura mesmo com o primário ainda ativo, causando problemas de roteamento e indisponibilidade ao ambiente.

A equipe já está tratando para correção do problema, onde serão tomadas duas ações:
1) Ajuste de software para reduzir a possibilidade de falso-positivos no monitoramento de disponibilidade dos hardwares;
2) Ajuste de hardware nos equipamentos para que a comunicação entre os equipamentos de redundância seja por rede exclusiva e com alta prioridade, evitando falso-positivos.

A equipe segue investigando a indisponibilidade.

Verificamos em nosso monitoramento a indisponibilidade de nossa estrutura de telecomunicações hoje por volta das 09:25.
A equipe de operações já reestabeleceu os serviços mas segue em análise da ocorrência.

Todas as correções foram aplicadas e o serviço foi estabilizado.

Os e-mails em fila do servidor em questão estão sendo processados e devem chegar na próxima hora.

O time de operações está aplicando as correções necessárias para disponibilização do ambiente.

Identificamos uma falha em um de nossos servidores de armazenamento do serviço de E-mail Corporativo.
A falha foi analisada pelo time de Engenharia e está sendo tratada para retornar o ambiente à disponibilidade.

A indisponibilidade de telecomunicações foi causada por intermitência em hardware de roteamento de Internet recém instalado, equipamento novo de modelo Dell de nova geração. 

Por ser uma falha intermitente, ocorrendo em intervalos de 1 segundo, ela não permitiu a conclusão do processo de "Failover" para a contingência, ficando em um estado constante de "Failover" e "Fallback", causando instabilidade na estrutura de telecomunicações e eventual indisponibilidade.

Para restauração de forma emergencial a equipe de datacenter desligou o equipamento apresentando falha, transferindo todo o tráfego para nosso equipamento de contingência.

O suporte 24x7 da Dell foi acionado para avaliação e troca do equipamento.
Como segunda medida, nossa equipe está atuando em uma alteração do processo de "Failover" sem "Fallback" automático, isto é, no evento de qualquer instabilidade no roteador primário, o segundo assume e não retorna para o primário até operação manual da equipe de datacenter da Neture.

----
Atualização:
Efetuamos manutenções em 03/02 aplicando as configurações planejadas de alteração no processo de Failover. Também foram adicionados novos parâmetros de monitoramento para detecção da falha com maior eficácia.

Estamos acompanhando a normalização da estrutura de telecomunicações.

Identificamos a causa raiz e aplicamos correções para estabilização do ambiente.

A VIVO informa que o problema foi resolvido de forma definitiva.
Ainda não houve publicação do relatório de evento do fornecedor.
Ao ser publicado, será divulgado para nossos clientes na área de Imprensa de nosso website.

A VIVO aplicou ações emergenciais e reestabeleceu todos os serviços de telecomunicações às 16:56. A mesma ainda está em análise de causa raiz. Estaremos atualizando este evento com mais informações assim que recebermos detalhamento da VIVO.

A VIVO informou às 15:20 que o evento está em análise de causa raiz e operações emergenciais estão em andamento.

A Cloudflare informa a normalização da estrutura de telecomunicações dos parceiros e resolução efetiva do problema.

A Cloudflare informa que o problema de instabilidade esta ligado aos parceiros de telecomunicações regionais, que estão apresentando problemas em suas estruturas.
Continuamos acompanhando o evento.

A Cloudflare informa que o problema foi confirmado como resolvido.

A Cloudflare informou que aplicou uma correção e estão monitorando.

A Cloudflare segue trabalhando nas correções, no momento estamos verificando estabilidade nos acessos.

A Cloudflare segue aplicando alterações e o status atual é de instabilidade parcial de serviços, afetando alguns websites que operam em seu Proxy. Continuamos monitorando.

Validamos a resolução do problema, o serviço foi normalizado.

Identificamos a causa raiz da indisponibilidade do serviço. Correções foram aplicadas para o reestabelecimento e normalização. O serviço já está operacional, continuaremos monitorando pelos próximos minutos.

A Cloudflare reporta que o problema foi corrigido e o serviço foi normalizado.

A Cloudflare identificou a causa raiz e está aplicando correções.

Identificamos e sanamos a causa raiz da indisponibilidade do serviço de monitoramento. Aplicamos correções adicionais para evitar que este problema volte a ocorrer.
O serviço foi normalizado, mas foi necessário o expurgo do histórico de gráficos dos últimos meses.

A AWS informou que o problema foi identificado e sanado, todos os serviços voltaram a operar normalmente.

A AWS informou que mais serviços foram afetados, contudo os serviços de instâncias EC2 e rede que já estavam operacionais não foram afetados. Lista completa de serviços:

* AWS Amplify
* AWS Batch
* AWS Certificate Manager
* AWS Client VPN
* AWS Cloud9
* AWS CloudFormation
* AWS CodeBuild
* AWS CodeCommit
* AWS CodeDeploy
* AWS DataSync
* AWS Lambda
* AWS Management Console
* AWS NAT Gateway
* AWS Service Catalog
* AWS Single Sign-On
* AWS Site-to-Site VPN
* AWS Step Functions
* AWS Transfer for SFTP
* AWS Transit Gateway
* AWS VPCE PrivateLink
* Amazon API Gateway
* Amazon AppStream 2.0
* Amazon Elastic Compute Cloud
* Amazon Elastic Container Service
* Amazon Elastic Load Balancing
* Amazon EventBridge
* Amazon GameLift
* Amazon Managed Workflows for Apache Airflow
* Amazon Simple Workflow Service

Atualização finalizada com sucesso, o serviço retornou a normalidade.

Cloudflare reportou que foram normalizados todos os acessos.

A Cloudflare atualizou status que a correção foi aplicada e está em monitoramento.
Estaremos acompanhando e informando quando houver confirmação da estabilização.

Cloudflare informou que identificou o problema e está implementando as correções. Continuamos acompanhando.

Após atuação do fornecedor, os serviços foram reestabelecidos.

Foi aplicada uma correção no espaço utilizado no serviço Backup pelo fornecedor Acronis, a ocorrência foi resolvida.

Correção aplicada e serviço restaurado a disponibilidade total.