Recuperação de Desastres em OpenStack com Expertise da Canonical: Lições Cruciais para Sysadmins Ubuntu

Introdução
O caso recente em que o plano de controle do OpenStack de um cliente entrou em colapso durante a madrugada, enquanto o backup único estava obsoleto, trouxe à tona a importância de ter expertise especializada da Canonical para recuperação ao vivo. Este artigo analisa, de forma prática e detalhada, como a reconstrução do cluster de banco de dados foi realizada serviço a serviço, sem perda de workloads, e quais lições podem ser aplicadas em ambientes Ubuntu‑based, sejam eles VPS, nuvens privadas ou públicas.

Cenário e Desafio
- **Falha do plano de controle**: O serviço de API, scheduler e conductor ficou indisponível.
- **Backup stale**: O único snapshot de base de dados tinha mais de 30 dias, inviável para restauração completa.
- **Objetivo**: Restaurar a camada de controle mantendo as VMs e containers em execução, evitando downtime para os usuários finais.

Procedimento de Recuperação ao Vivo
A Canonical adotou uma estratégia de *rolling rebuild* utilizando as ferramentas nativas do Ubuntu e do OpenStack:
1. **Isolamento da falha** – Utilizou‑se `juju status` para mapear os units afetados e garantir que os serviços de computação (nova‑compute) permanecessem operacionais.
2. **Recriação do cluster PostgreSQL** – Em vez de restaurar o backup, foi criado um novo cluster com `pg_createcluster 12 main` e, em seguida, replicado usando `pg_basebackup` a partir de um nó saudável que ainda possuía dados consistentes.
3. **Sincronização de dados** – `pg_rewind` foi empregado para alinhar o estado dos nós que haviam ficado desatualizados, evitando a necessidade de um full dump.
4. **Migração incremental de esquemas** – O comando `openstack-db-migrate` (parte do pacote `openstack-database-migration`) foi rodado serviço a serviço (keystone, glance, nova, neutron) garantindo que cada componente reconhecesse o novo backend.
5. **Reintegração ao cluster HA** – O `pacemaker` e `corosync` foram reconfigurados com `pcs cluster node add ` para restabelecer a alta disponibilidade.
6. **Validação** – Testes de API (`openstack server list`) e de provisionamento foram executados antes de remover o antigo cluster.

Impacto Prático para Servidores de Produção
- **Redução de RTO (Recovery Time Objective)**: A abordagem ao vivo diminuiu o tempo de recuperação de horas para minutos, crucial em ambientes de SaaS e VPS.
- **Eliminação de dependência de backups estáticos**: Incentiva a adoção de replicação contínua (Streaming Replication) e snapshots LVM/ZFS como camada secundária.
- **Melhoria da observabilidade**: Ferramentas como `prometheus-openstack-exporter` e `grafana` passaram a monitorar métricas de latência de banco, permitindo alertas proativos.

Segurança do Kernel e Containers
- **Kernel hardening**: Durante a recuperação, o kernel foi mantido na versão LTS 6.5, com `sysctl` reforçado (`kernel.kptr_restrict=2`, `fs.protected_hardlinks=1`). Isso impede que processos maliciosos explorem vulnerabilidades durante a janela de reconstrução.
- **Containers LXD**: Os workloads críticos foram migrados temporariamente para LXD containers usando `lxc launch ubuntu:22.04 ` e `lxc config device add root disk source=/var/lib/nova/instances path=/var/lib/nova/instances`. Essa camada extra de isolamento garante que, se o banco falhar novamente, os containers permanecem intactos.
- **Docker**: Para serviços legacy em Docker, a política `--restart unless-stopped` foi reforçada, e imagens foram assinadas com Notary para garantir integridade.

Dicas de Configuração e Comandos
- **Habilitar replicação streaming**:
```bash
sudo -u postgres psql -c "CREATE REPLICATION SLOT pg_slot LOGICAL;"
# No standby
pg_basebackup -h -D /var/lib/postgresql/12/main -U replicator -P --wal-method=stream
```
- **Configurar Pacemaker para OpenStack**:
```bash
pcs cluster auth node1 node2 -u hacluster -p
pcs cluster setup --name openstack_cluster node1 node2
pcs cluster start --all
pcs resource create galera-db ocf:heartbeat:galera op start timeout=120s op stop timeout=120s
```
- **Verificar integridade do banco antes da migração**:
```bash
sudo -u postgres pg_isready -d nova
pg_dumpall -U postgres > /tmp/full_backup.sql
```
- **Automatizar validações pós‑rebuild**:
```bash
#!/bin/bash
openstack server list > /tmp/servers.txt
if grep -q "ERROR" /tmp/servers.txt; then
  echo "Problema detectado!"; exit 1;
fi
```

Conclusão – Estabilidade e Resiliência
A experiência da Canonical demonstra que, com expertise adequada e uso das ferramentas nativas do Ubuntu, é possível reconstruir um plano de controle OpenStack em tempo real sem interromper workloads críticos. Para sysadmins, a lição principal é investir em replicação contínua, monitoramento avançado e em processos de recuperação que não dependam exclusivamente de backups estáticos. Ao alinhar kernel hardening, containers LXD/Docker e um cluster HA bem configurado, garantimos não apenas a continuidade do serviço, mas também uma postura de segurança robusta contra falhas inesperadas. Em ambientes de produção, adotar essas práticas eleva significativamente a disponibilidade e a confiança dos clientes nos serviços Ubuntu‑based.