Processo de Lançamento de Endpoint da WatchGuard

As notícias da semana passada sobre uma interrupção global de TI causada pela atualização de conteúdo de um fornecedor de segurança geraram conversas importantes sobre processos de garantia de qualidade para produtos de endpoint e atualizações de conteúdo. Na WatchGuard, com mais de 30 anos de experiência no setor, conhecemos bem a sensibilidade do processo de atualização e queremos aproveitar esta oportunidade para destacar os processos que implementamos para proteger você, nossa valiosa comunidade de parceiros e seus clientes dos impactos de um lançamento de atualização falho.

Os produtos de segurança de endpoint estão intimamente conectados com o sistema operacional (SO) e, portanto, exigem processos de qualidade mais robustos. A exclusividade desses produtos e os requisitos de acesso privilegiado ao sistema operacional tornam o processo de desenvolvimento e garantia de qualidade (QA) mais difícil do que outros tipos de desenvolvimento de software. Devido a esse tipo de software em execução em dezenas a centenas de milhões de endpoints e em configurações extremamente diversas, não podemos testar os ambientes exatos em que o produto será executado. Para resolver esse problema, as equipes técnicas da WatchGuard implementaram um processo que, mantendo o ritmo dos lançamentos, reduz a possibilidade de interromper as operações normais.

Processo de Atualização de Produtos de Endpoint da WatchGuard

Fase 1 - Testes com Amigos e Familiares:

O processo explicado neste artigo técnico começa depois que a equipe de qualidade conclui todos os procedimentos internos de teste alfa e beta em uma nova versão. Uma vez que o software é certificado, iniciamos uma etapa chamada internamente de testes com “Amigos e familiares”. Resumindo, nessa fase, amigos e familiares testam a nova solução em produção. 

Originalmente, há quase 10 anos, começamos atualizando nossos sistemas pessoais, tanto os sistemas corporativos quanto os dispositivos pessoais em casa. Nossos sistemas internos da WatchGuard estão entre os primeiros a serem incluídos na implantação “Amigos e familiares” – não apenas os computadores pessoais, mas também os servidores de produção.

Com o tempo, esse ambiente se tornou muito mais diversificado, incluindo centenas de contas e milhares de endpoints. Alguns de nossos parceiros mais estratégicos e administradores de clientes quiseram participar da implementação antecipada de novas versões, adicionando esses ambientes de clientes aos nossos primeiros testes para “Amigos e familiares”. 

Todos os sistemas incluídos nessa etapa são cuidadosamente monitorados. Adicionamos telemetria estendida para verificar se a nova versão não se comporta de forma diferente daquela que está sendo atualizada. Entre os dados estendidos, carregamos e monitoramos possíveis falhas e erros, mas também dados de integridade, como memória consumida ou uso médio da CPU.

Dependendo das alterações, mantemos esse estágio por tempo suficiente para verificar se a implantação inicial foi bem-sucedida e se funciona adequadamente por um período de tempo razoável.

Nossa equipe de suporte também trabalha ativamente nesse estágio para identificar potenciais problemas. Na verdade, eles fornecem a principal contribuição para decidir se podemos avançar para a próxima etapa do processo de lançamento da atualização. Prosseguimos apenas após nossa equipe de suporte estar satisfeita com a versão e todas as métricas estarem sob os parâmetros definidos.

Fase 2 – Prévia Controlada: 

Depois disso, informamos que uma nova versão está disponível no console do Cloud. A intenção é fornecer aos nossos parceiros e clientes um aviso de que eles podem começar o processo de implantação. Conforme descrito neste artigo técnico, é possível realizar a atualização de seus sistemas de maneira controlada.

Permanecemos nessa fase por várias semanas, monitorando o número de novos dispositivos que estão sendo atualizados. Assim como no estágio “Amigos e familiares”, nossas equipes de suporte são muito ativas na identificação de comportamentos anômalos que podem estar relacionados à nova versão.

Fase 3 – Processo de Atualização Automática:

Quando estamos satisfeitos com a nova versão, iniciamos as fases de atualização automática. Como mencionamos antes, o número de fases depende das mudanças, mas geralmente há de três a quatro estágios, durante os quais começamos a disponibilizar a atualização para os clientes.

Processo de Atualização de Conteúdo da WatchGuard:

O processo de entrega de atualizações de conteúdo é semelhante. Nesse caso, temos um ambiente de teste parecido com o “Amigos e familiares”, com centenas de contas e milhares de dispositivos. Assim que o conteúdo é certificado, primeiro publicamos a atualização nesse ambiente. Da mesma forma que no estágio “Amigos e familiares”, o ambiente é monitorado de perto para acompanhar dados de integridade. Qualquer desvio em relação à linha de desempenho anterior é avaliado e testado novamente. Apenas quando esse processo é concluído – sem registrar novos problemas – é que enviamos a atualização para nossos parceiros e clientes.

Quero aproveitar esta oportunidade para reconhecer o esforço e o valor resultante do trabalho que nossas equipes internas das áreas de Desenvolvimento, Garantia de Qualidade, DevOps e Suporte fazem diariamente para que possamos oferecer uma solução atualizada contra novas ameaças e evitar problemas para nossos parceiros e clientes. Também quero reiterar o compromisso contínuo da WatchGuard em revisar, reavaliar e aprimorar esses processos conforme apropriado para continuar conquistando sua confiança. 

Por fim, estou no setor há mais de vinte e cinco anos e sei da dor causada por um lançamento fracassado, e não gosto de ver isso acontecer com outras empresas.  Quando isso acontece, nosso impulso é dobrar o esforço para verificar se mantemos nossos parceiros e clientes a salvo de ameaças reais e permanecer vigilantes na reavaliação constante de nossos processos internos.