Ocorrências
operacionais

Informamos que houve total normalização do serviço.
A causa raiz foi identificada em uma query de banco de dados que operava em "loop", causando lentidão no ambiente de Mailbox (armazenamento de dados).

Aplicamos uma correção e estamos verificando a estabilização do ambiente.

Estamos em análise da causa raiz e retornaremos com mais informações brevemente.

Estamos verificando uma lentidão localizada em um de nossos servidores de e-mail (Mailbox), responsável por armazenamento dos dados das contas.

Confirmamos total estabiliação do ambiente.

Um de nossos fornecedores de Telecomunicações identificou a falha em um rompimento parcial de fibra óptica, causando oscilações na disponibilidade do link primário e não levando ao failover por completo para o link secundário.

O fornecedor já desativou o link com falha e houve total normalização dos serviços. Seguiremos acompanhando nas próximas horas.

A solução aplicada pelos fornecedores ainda não surtiu total efeito, estamos verificando indisponibilidades esporádicas na telecomunicação.

Nossa equipe segue empenhada junto aos fornecedores para solução mais breve possível.

Nossos fornecedores identificaram a causa raiz e aplicaram correções.

No momento estamos verificando a total normalização de nossa telecomunicação.

Continuamos acompanhando.

A equipe de NOC segue investigando o caso.

Identificamos, na última hora, uma instabilidade pontual em nossa infraestrutura de telecomunicações. Como consequência, alguns de nossos serviços e canais de comunicação podem apresentar oscilações ou lentidão.

Garantimos que nosso time de NOC (Centro de Operações de Rede) já está engajado no diagnóstico do problema e trabalhando em estreita colaboração com as operadoras e fornecedores envolvidos para garantir uma solução ágil e definitiva.

Manteremos todos informados sobre a evolução do status de normalização.

Informamos que não verificamos novas instabilidades ou anomalias.

Identificamos a causa raiz da instabilidade em uma de nossas filas de processamento, que apresentou lentidão devido a um aumento no volume de acessos, gerando um efeito cascata no sistema de atendimento.

Nossa equipe técnica já aplicou as correções necessárias e o serviço foi restabelecido. No momento, permanecemos em período de monitoramento para garantir a estabilidade total da plataforma.

Identificamos uma instabilidade parcial em nosso Atendimento via Console, afetando a abertura de chamados, o envio de comentários e o carregamento de anexos.

Nossa equipe técnica já está atuando na análise e correção do problema. Traremos novas atualizações em breve. Contamos com a sua compreensão.

Cloudflare informou resolução do incidente, todos os seus serviços foram normalizados. Não detectamos novas instabilidades nas últimas 12 horas.

A Cloudflare ainda não reportou atualização final confirmando resolução, seguimos acompanhando.

A Cloudflare informou que realizou uma alteração para correção e está monitorando, seguimos monitorando na ponta da Neture também.

A Cloudflare informou que está investigando o problema, por hora, os ambientes estão estabilizados e nosso monitoramento foi reativado.

A Cloudflare voltou a reportar instabilidades em seu painel de Status: https://www.cloudflarestatus.com

Devido à instabilidade generalizada nas conexões da Cloudflare, estamos suspendendo nosso monitoramento de aplicações web temporariamente.

Estamos verificando novas instabilidades na Cloudflare.

A Cloudflare reporta normalização do incidente, não verificamos novas instabilidades. Incidente resolvido.

A Cloudflare informou que aplicou correções e está monitorando, estamos verificando a normalização de tráfego e não identificamos alertas nos últimos 30 minutos.

Identificamos há pouco instabilidade no provedor Cloudflare. Estamos acompanhando as atualizações em seu portal e estaremos complementando com informações neste evento. Link oficial de status: https://www.cloudflarestatus.com

Com a estabilização quase completa da Cloudflare, nosso monitoramento foi reativado por completo.

Nosso monitoramento foi reativado, estamos acompanhando resolução, no momento alguns ambientes já foram normalizados.

Nosso monitoramento do CloudOps foi suspenso temporariamente, devido à indisponibilidade da Cloudflare que está afetando a estabilidade do serviço.

Verificamos a total normalização dos serviços da Cloudflare. Todos os alertas de monitoramento foram normalizados.

Verificamos a normalização de todos os serviços, contudo ainda apresentando alguns erros 500 esporádicos, continuaremos monitorando até completa estabilização.

A Cloudflare aplicou uma alteração há pouco que está normalizando mais serviços, verificamos normalização de mais alguns websites e sistemas que apresentavam problemas.

A Cloudflare ainda apresenta indisponibilidade parcial de serviços, muitos sistemas e websites apresentam erros de conexão entre Cloudflare e os servidores.

Verificamos retorno de alguns serviços, estamos acompanhando.

Cloudflare informou que alguns serviços estão normalizando, mas ainda estamos verificando muita instabilidade em nossos clientes.

A Cloudflare atualizou seu portal de status confirmando indisponibilidade global, mais informações em: https://www.cloudflarestatus.com

Estaremos atualizando por aqui conforme disponibilizadas novas informações.

Identificamos há pouco instabilidade generalizada no provedor Cloudflare. Estamos acompanhando atualizações de status em seu portal, no momento diversos serviços estão apresentando erros de conexões.
Em análise preliminar o problema parece ser Global, afetando todas as redes da Cloudflare.

A Cloudflare informa que todos os eventos foram resolvidos.

Segundo o status oficial, foram três casos:
1) Elevação de Latência na América do Sul, afetando desempenho generalizado
2) Erros de limpeza de Caches
3) Erros de conectividade do serviço Zero Trust

A Cloudflare informa, em seu Status Oficial, que clientes utilizando Zero Trust estão apresentando problemas de conectividade.

Fonte: https://www.cloudflarestatus.com

Identificamos instabilidades no serviço do fornecedor Cloudflare, resultando em erros de conexão, falhas em chamadas HTTP, problemas de "handshake" SSL, entre outros impactos.

Nossa equipe segue monitorando o evento em tempo real e fornecerá atualizações contínuas para manter nossos clientes informados.

No momento verificamos total estabilidade dos serviços, continuaremos monitorando e reabrindo este incidente caso instabilidades venham a surgir.

Observamos a normalização dos serviços e manteremos o monitoramento contínuo nas próximas horas para assegurar a estabilidade completa.

A Cloudflare implementou medidas corretivas para o incidente identificado, e seguimos monitorando a situação para verificar a completa estabilização dos serviços.

Adicionalmente, a Google Cloud Platform (GCP) continua apresentando um problema generalizado de autenticação em sua infraestrutura: https://status.cloud.google.com

Informamos que foi identificada uma instabilidade generalizada nos serviços da Cloudflare, já reconhecida pela própria provedora e atualmente em processo de mitigação: https://www.cloudflarestatus.com

Em decorrência deste incidente, os serviços da Neture podem apresentar oscilações ou indisponibilidades pontuais.

A equipe de Operações e Redes da Neture atuou em conjunto com os fornecedores para restabelecer a normalidade no tráfego direcionado aos nossos datacenters.

Após análise técnica realizada pelos provedores, foi identificado um problema na contingência de um link de telecomunicações de 10 Gbps entre os datacenters. Essa falha estava provocando uma alternância frequente entre os caminhos primário e secundário, resultando em instabilidades e perda de pacotes, especialmente nas comunicações com provedores como Cloudflare, AWS e GCP.

As correções necessárias foram aplicadas pelo provedor responsável e o ambiente encontra-se, neste momento, totalmente estabilizado.

Estamos conduzindo uma análise sobre instabilidades de roteamento e conectividade entre a Cloudflare e nossos datacenters. Em função dessa situação, alguns serviços podem apresentar lentidão no acesso.

A equipe de operações identificou o motivo da falha, que está relacionado a uma instabilidade na comunicação entre os equipamentos de Failover (Firewalls e Switches). 

Houve um evento onde o Firewall de failover (secundário) 
assumiu a estrutura mesmo com o primário ainda ativo, causando problemas de roteamento e indisponibilidade ao ambiente.

A equipe já está tratando para correção do problema, onde serão tomadas duas ações:
1) Ajuste de software para reduzir a possibilidade de falso-positivos no monitoramento de disponibilidade dos hardwares;
2) Ajuste de hardware nos equipamentos para que a comunicação entre os equipamentos de redundância seja por rede exclusiva e com alta prioridade, evitando falso-positivos.

A equipe segue investigando a indisponibilidade.

Verificamos em nosso monitoramento a indisponibilidade de nossa estrutura de telecomunicações hoje por volta das 09:25.
A equipe de operações já reestabeleceu os serviços mas segue em análise da ocorrência.

Todas as correções foram aplicadas e o serviço foi estabilizado.

Os e-mails em fila do servidor em questão estão sendo processados e devem chegar na próxima hora.

O time de operações está aplicando as correções necessárias para disponibilização do ambiente.

Identificamos uma falha em um de nossos servidores de armazenamento do serviço de E-mail Corporativo.
A falha foi analisada pelo time de Engenharia e está sendo tratada para retornar o ambiente à disponibilidade.

A indisponibilidade de telecomunicações foi causada por intermitência em hardware de roteamento de Internet recém instalado, equipamento novo de modelo Dell de nova geração. 

Por ser uma falha intermitente, ocorrendo em intervalos de 1 segundo, ela não permitiu a conclusão do processo de "Failover" para a contingência, ficando em um estado constante de "Failover" e "Fallback", causando instabilidade na estrutura de telecomunicações e eventual indisponibilidade.

Para restauração de forma emergencial a equipe de datacenter desligou o equipamento apresentando falha, transferindo todo o tráfego para nosso equipamento de contingência.

O suporte 24x7 da Dell foi acionado para avaliação e troca do equipamento.
Como segunda medida, nossa equipe está atuando em uma alteração do processo de "Failover" sem "Fallback" automático, isto é, no evento de qualquer instabilidade no roteador primário, o segundo assume e não retorna para o primário até operação manual da equipe de datacenter da Neture.

----
Atualização:
Efetuamos manutenções em 03/02 aplicando as configurações planejadas de alteração no processo de Failover. Também foram adicionados novos parâmetros de monitoramento para detecção da falha com maior eficácia.

Estamos acompanhando a normalização da estrutura de telecomunicações.

Identificamos a causa raiz e aplicamos correções para estabilização do ambiente.

A VIVO informa que o problema foi resolvido de forma definitiva.
Ainda não houve publicação do relatório de evento do fornecedor.
Ao ser publicado, será divulgado para nossos clientes na área de Imprensa de nosso website.

A VIVO aplicou ações emergenciais e reestabeleceu todos os serviços de telecomunicações às 16:56. A mesma ainda está em análise de causa raiz. Estaremos atualizando este evento com mais informações assim que recebermos detalhamento da VIVO.

A VIVO informou às 15:20 que o evento está em análise de causa raiz e operações emergenciais estão em andamento.

A Cloudflare informa a normalização da estrutura de telecomunicações dos parceiros e resolução efetiva do problema.

A Cloudflare informa que o problema de instabilidade esta ligado aos parceiros de telecomunicações regionais, que estão apresentando problemas em suas estruturas.
Continuamos acompanhando o evento.

A Cloudflare informa que o problema foi confirmado como resolvido.

A Cloudflare informou que aplicou uma correção e estão monitorando.

A Cloudflare segue trabalhando nas correções, no momento estamos verificando estabilidade nos acessos.

A Cloudflare segue aplicando alterações e o status atual é de instabilidade parcial de serviços, afetando alguns websites que operam em seu Proxy. Continuamos monitorando.