Recuperação de Desastres em OpenStack: Como a Expertise da Canonical Salvou o Plano de Controle sem Perda de Workloads

Introdução

Em ambientes de nuvem privados baseados em OpenStack, o plano de controle (control plane) é o coração da orquestração de recursos. Quando esse componente falha, toda a infraestrutura pode ficar indisponível, impactando diretamente os SLAs dos clientes. O caso descrito — um plano de controle que caiu durante a madrugada e cujo backup estava obsoleto — ilustra a fragilidade de uma estratégia de backup inadequada. A Canonical, através de seu suporte avançado, realizou a reconstrução ao vivo do cluster de banco de dados, serviço por serviço, sem perda de workloads. Este artigo detalha o que aconteceu, como foi resolvido e quais lições práticas podem ser extraídas por sysadmins que gerenciam VPS, clouds, containers e segurança de kernel em ambientes Ubuntu.

Cenário do incidente

- **Falha do control plane**: O único backup existente estava desatualizado, tornando‑o inútil para uma restauração completa.
- **Impacto imediato**: Serviços como Nova, Neutron e Keystone ficaram indisponíveis, bloqueando a criação e gerenciamento de VMs.
- **Ambiente**: Deploy OpenStack em Ubuntu LTS (22.04), utilizando Juju para orquestração e MAAS para provisionamento de hardware.

A falta de um plano de recuperação granular (por serviço) forçou a equipe a buscar uma solução que evitasse a perda de dados de usuários finais.

Abordagem da Canonical

1. **Diagnóstico rápido** – Utilizando `juju status` e `openstack-status` para mapear quais unidades estavam inativas e identificar o ponto de falha no banco de dados Galera.
   ```bash
   juju status --format yaml | grep -i "mysql"
   openstack-status --verbose
   ```
2. **Recriação do cluster Galera** – Em vez de restaurar o backup inteiro, a Canonical adicionou novos nós ao cluster, sincronizando-os com o quorum existente.
   ```bash
   juju add-unit mysql-innodbcluster -n 2
   juju run-action mysql-innodbcluster/0 bootstrap
   ```
3. **Migração de serviços** – Cada serviço OpenStack (Keystone, Glance, Nova, Neutron) foi reintegrado ao novo cluster usando `juju run-action /0 resume`.
4. **Validação de integridade** – Testes de criação de VM e verificação de redes foram realizados com `openstack server create` e `openstack network list`.
5. **Monitoramento pós‑recuperação** – Configuração de alertas no Prometheus + Grafana para detectar divergências de replicação no Galera.

A estratégia de "reconstruir ao vivo, serviço por serviço" evitou a necessidade de um corte completo e manteve todos os workloads operacionais.

Impacto prático para Sysadmins

- **Redução do MTTR** (Mean Time to Recovery): Ao focar na recuperação de componentes individuais, o tempo médio de restauração caiu de horas para minutos.
- **Uso de Juju como ferramenta de orquestração**: A capacidade de executar ações em unidades específicas permite intervenções cirúrgicas sem impactar o restante da cloud.
- **Isolamento de falhas**: Separar o banco de dados de controle do banco de dados de serviço (por exemplo, usando diferentes clusters Galera) diminui o risco de cascata.
- **Automatização de backups**: Implementar `cron` ou `snapper` para snapshots incrementais de bases de dados a cada 15 minutos, armazenados em um volume externo (ex.: Ceph RBD).

Comandos úteis para rotinas diárias:
```bash
# Verificar health do Galera
mysql -u root -p -e "SHOW STATUS LIKE 'wsrep_%';"
# Listar serviços OpenStack ativos
openstack service list --long
# Testar criação rápida de VM
openstack server create --flavor m1.small --image ubuntu-22.04 --network private test-vm
```

Segurança do Kernel e Contêineres

A reconstrução ao vivo exigiu que o kernel permanecesse estável e que os containers LXD/Docker não fossem reiniciados abruptamente. Algumas boas práticas adotadas:
- **Lock de versão do kernel**: Utilizar `apt-mark hold linux-image-generic` para evitar atualizações automáticas durante a janela de recuperação.
- **Namespaces e cgroups isolados**: Garantir que cada serviço OpenStack rode em seu próprio container LXD, reduzindo o escopo de falhas.
- **Hardening do MySQL**: Aplicar `cve‑2023‑XXXX` patches e habilitar `auditd` para rastrear alterações de configuração.

Exemplo de criação de perfil LXD seguro:
```bash
lxc launch ubuntu:22.04 mysql-node -c security.nesting=true -c security.privileged=false
lxc config set mysql-node limits.cpu 2
lxc config set mysql-node limits.memory 4GB
```

Recomendações de DR e backup

1. **Backup incremental de Galera** – Use `xtrabackup` com `--incremental` e armazene os arquivos em um bucket S3 compatível.
2. **Teste de restauração trimestral** – Simule falhas completas em um ambiente de staging e documente o tempo de recuperação.
3. **Documentação de run‑books** – Cada serviço deve ter um run‑book com comandos `juju run-action resume` e verificações pós‑recuperação.
4. **Multi‑region replication** – Replicar o cluster de controle para outra zona de disponibilidade usando `juju deploy mysql-router`.
5. **Monitoramento de stale backups** – Alertas que comparam timestamp do último backup com a política (ex.: `if [ $(date +%s) -gt $(stat -c %Y /backups/galera.last) + 86400 ]; then echo "Backup stale"; fi`).

Conclusão

A experiência demonstrada pela Canonical evidencia que, em ambientes OpenStack críticos, a expertise especializada pode ser a diferença entre perda total e continuidade de negócios. Para sysadmins, a lição principal é adotar uma abordagem modular de recuperação, alavancar ferramentas de orquestração como Juju, e manter backups incrementais e testados regularmente. Ao combinar essas práticas com um kernel sólido e containers bem configurados, a estabilidade da infraestrutura Ubuntu‑based é maximizada, reduzindo drasticamente o risco de downtime inesperado.