Recuperação de Desastres em OpenStack: Lições da Intervenção ao Vivo da Canonical

Introdução
A perda do plano de controle do OpenStack é um dos cenários mais temidos por administradores de nuvem. Quando a única cópia de backup está obsoleta, a continuidade dos workloads pode estar em risco imediato. O caso recente – um cliente cuja camada de controle caiu durante a madrugada, enquanto o backup disponível estava desatualizado – demonstra que a expertise dedicada da Canonical pode reverter a situação sem interrupção de serviços. Este artigo analisa, passo a passo, como foi feita a reconstrução ao vivo do cluster de banco de dados, quais foram os impactos práticos para ambientes de produção (VPS, cloud), e quais lições podem ser aplicadas por sysadmins que gerenciam OpenStack, Kubernetes, LXD ou Docker.

Cenário do incidente
- **Falha do plano de controle**: o serviço ``nova-api`` não respondeu, e a orquestração do Neutron também ficou indisponível.
- **Backup obsoleto**: o snapshot diário do banco de dados (MariaDB) tinha mais de 48 h, incompatível com o estado atual dos metadados.
- **Impacto imediato**: novos provisionamentos foram bloqueados, mas as VMs já em execução continuaram operando, pois dependem do hipervisor KVM.

A Canonical foi acionada para executar uma recuperação "hot‑swap", preservando a camada de dados dos workloads.

Abordagem de recuperação passo a passo
1. **Isolamento do cluster falho**
   ```bash
   sudo juju status | grep mysql
   sudo juju run-action mysql/0 pause
   ```
   Pausar o serviço impede novas transações enquanto a análise é feita.
2. **Exportação de dados em memória**
   Utilizando o recurso de *GTID* (Global Transaction ID) do MariaDB, foi possível extrair o estado corrente sem precisar de um backup completo:
   ```sql
   SHOW GLOBAL STATUS LIKE 'GTID_EXECUTED';
   ```
3. **Criação de um novo cluster "cold‑standby"**
   ```bash
   juju deploy mysql-router mysql-router-standby
   juju add-unit mysql/1 mysql/2
   ```
   O novo cluster foi configurado com *semi‑sync replication* para garantir consistência.
4. **Sincronização incremental**
   ```bash
   mysql -u root -p -e "SET GLOBAL wsrep_sst_method='rsync';"
   ```
   A replicação incremental trouxe apenas as transações faltantes, reduzindo o tempo de downtime para menos de 5 min.
5. **Reativação dos serviços OpenStack**
   ```bash
   juju run-action nova-cloud-controller/0 resume
   juju run-action neutron-api/0 resume
   ```
   Cada micro‑serviço foi testado individualmente antes de ser colocado em produção.
6. **Validação de integridade**
   ```bash
   openstack server list --all-projects
   openstack volume list
   ```
   A verificação confirmava que nenhum workload havia sido perdido ou corrompido.

Impactos práticos para servidores de produção
- **Redução de RTO (Recovery Time Objective)**: a estratégia de reconstrução ao vivo diminuiu o RTO de horas para minutos, essencial para ambientes SLA‑críticos.
- **Eliminação de dependência de backups estáticos**: ao usar GTID e replicação semi‑sync, o plano de recuperação passa a ser baseado em estado contínuo, reduzindo a necessidade de snapshots frequentes.
- **Melhoria na observabilidade**: o uso de Juju para orquestrar ações permite auditoria detalhada de cada passo, facilitando a geração de relatórios de compliance.

Relevância para segurança do kernel e containers
- **Kernel hardening**: durante a recuperação, o kernel foi mantido com módulos de segurança (SELinux/AppArmor) ativos. A política ``apparmor`` para ``mysqld`` impede que processos externos leiam o buffer de replicação, mitigando ataques de escalonamento de privilégio.
- **Containers LXD/Docker**: ao migrar o novo cluster para unidades LXD, foi possível aplicar perfis de isolamento que limitam recursos de CPU/MEMória, evitando que um ataque DDoS interno impacte o banco de dados. Exemplo de perfil LXD:
   ```yaml
   config:
     security.nesting: "true"
     security.privileged: "false"
   devices:
     eth0:
       name: eth0
       nictype: bridged
       parent: lxdbr0
   ```
- **Integração com Kubernetes**: o mesmo modelo de replicação pode ser exportado para o operador ``mysql-operator`` no K8s, garantindo que clusters stateful de serviços críticos tenham recuperação automática.

Dicas de configuração e comandos úteis
- **Ativar GTID** no ``my.cnf``:
   ```ini
   [mysqld]
   gtid_mode=ON
   enforce_gtid_consistency=ON
   log_slave_updates=ON
   ```
- **Configurar semi‑sync replication**:
   ```sql
   SET GLOBAL rpl_semi_sync_master_enabled=1;
   SET GLOBAL rpl_semi_sync_slave_enabled=1;
   ```
- **Monitorar latência de replicação**:
   ```bash
   watch -n 1 "mysql -e 'SHOW SLAVE STATUS\\G' | grep Seconds_Behind_Master"
   ```
- **Automatizar fallback com Juju**:
   ```bash
   juju run-action mysql/0 promote-primary
   ```
   Essa ação eleva o nó atual a primário caso o primário original falhe novamente.

Conclusão – estabilidade como meta
A experiência relatada pela Canonical comprova que a combinação de expertise especializada, ferramentas de orquestração (Juju) e recursos nativos do banco de dados (GTID, semi‑sync) pode transformar um desastre potencial em uma operação de recuperação quase transparente. Para sysadmins que gerenciam ambientes OpenStack, a lição principal é repensar a estratégia de backup: focar em replicação contínua, validar a integridade dos dados em tempo real e manter os componentes críticos (kernel, containers) com perfis de segurança rigorosos. Ao adotar essas práticas, a estabilidade da nuvem privada ou pública deixa de ser um objetivo aspiracional e passa a ser uma realidade mensurável, reduzindo riscos operacionais e garantindo a continuidade dos serviços mesmo diante de falhas inesperadas.