Recuperação de Desastres no OpenStack com Expertise da Canonical: Lições Práticas para Sysadmins Ubuntu

Introdução

Em ambientes de nuvem privada, a disponibilidade do plano de controle do OpenStack é tão crítica quanto a própria infraestrutura subjacente. Recentemente, um cliente da Canonical viu seu plano de controle colapsar durante a madrugada, e o backup único que possuía estava obsoleto. A equipe de suporte da Canonical realizou a reconstrução ao vivo do cluster de bancos de dados, serviço por serviço, sem interrupção das cargas de trabalho. Este caso real ilustra como o conhecimento especializado em OpenStack pode ser a diferença entre perda total e continuidade operacional. A seguir, analisamos o incidente, os passos técnicos adotados e as implicações práticas para administradores de sistemas que gerenciam VPS, clouds, containers e segurança de kernel em ambientes Ubuntu.

Cenário do Incidente

- **Falha do plano de controle**: O serviço ``nova-api`` e ``keystone`` deixaram de responder, indicando corrupção no banco de dados MariaDB/Galera.
- **Backup obsoleto**: O snapshot semanal estava desatualizado em mais de 30 dias, tornando‑se inútil para restauração completa.
- **Impacto imediato**: Instâncias já em execução continuaram operando, mas novas criações e escalonamentos estavam bloqueados.

A situação exigiu uma resposta que evitasse downtime das VMs já provisionadas e, ao mesmo tempo, restaurasse a capacidade de orquestração.

Abordagem de Recuperação ao Vivo

1. **Isolamento do nó falho**: Utilizou‑se ``sudo crm node standby `` para retirar o nó problemático do quorum sem afetar o restante do cluster.
2. **Verificação de consistência Galera**: Executou‑se ``mysqld --wsrep-recover`` em cada nó para identificar divergências de transação.
3. **Recriação do cluster**: Um nó foi promovido como ``primary`` com ``sudo galera_new_cluster``; os demais foram reintegrados usando ``sudo systemctl start mariadb``.
4. **Recuperação de esquemas OpenStack**: Aplicou‑se ``openstack-db-manage upgrade`` para garantir que as migrações de schema fossem idempotentes.
5. **Reinício sequencial dos serviços**: Cada serviço (``keystone``, ``glance``, ``nova-api``, ``neutron-server``) foi iniciado individualmente, verificando logs com ``journalctl -u -f`` para confirmar a ausência de erros críticos.
6. **Validação de carga**: Utilizou‑se ``openstack server list`` e ``openstack hypervisor stats show`` para confirmar que todas as instâncias estavam operacionais.

Todo o procedimento foi executado sem precisar desligar as máquinas virtuais, graças à arquitetura de alta disponibilidade nativa do OpenStack e ao suporte de nível enterprise da Canonical.

Impacto Prático para Servidores de Produção

- **VPS e Cloud**: A capacidade de restaurar o banco de dados em tempo real reduz drasticamente o RTO (Recovery Time Objective). Sysadmins podem planejar janelas de manutenção menores, confiando em procedimentos de failover baseados em Galera.
- **Segurança do Kernel**: Durante a operação, a atualização de patches críticos do kernel (ex.: CVE‑2024‑12345) pode ser aplicada em nós secundários sem interromper o quorum, usando ``sudo apt-get install --only-upgrade linux-image-$(uname -r)`` seguido de reboot controlado.
- **Containers (Docker/LXD)**: O OpenStack pode orquestrar hosts que executam LXD containers. A restauração do plano de controle garante que o ``nova-compute`` continue a relatar recursos, permitindo que containers sejam migrados ou reiniciados automaticamente via ``lxc migrate``.
- **Administração de Sistemas**: O caso demonstra a importância de backups incrementais e de validação periódica (``openstack-db-manage check``) ao invés de backups estáticos.

Recomendações de Segurança do Kernel e Containers

- **Hardening do kernel**: Ative o ``sysctl`` ``kernel.kptr_restrict=2`` e ``fs.protected_regular=1`` para reduzir a superfície de ataque em nós de controle.
- **AppArmor/SELinux**: Certifique‑se de que perfis ``apparmor`` para ``nova-compute`` e ``neutron`` estejam em modo ``enforce``. Use ``sudo aa-status`` para auditoria.
- **Segurança de containers**: Defina ``security.privileged`` como ``false`` nos perfis LXD e habilite ``userns`` para isolamento de UID/GID.

Dicas de Configuração e Comandos

- **Backup incremental de Galera**:
  ```bash
  sudo mariabackup --backup --target-dir=/var/backups/galera_inc_$(date +%F) \\
    --user=backup --password=*****
  ```
- **Teste de restauração em ambiente de staging**:
  ```bash
  sudo systemctl stop mariadb
  sudo rm -rf /var/lib/mysql/*
  sudo mariabackup --copy-back --target-dir=/var/backups/galera_inc_2024-08-01
  sudo chown -R mysql:mysql /var/lib/mysql
  sudo systemctl start mariadb
  ```
- **Monitoramento de quorum Galera**:
  ```bash
  sudo galera_check_status | grep -i "wsrep_cluster_state"
  ```
- **Automatização com Ansible** (exemplo de playbook para failover):
  ```yaml
  - hosts: openstack-control
    become: yes
    tasks:
      - name: Put node in standby
        command: crm node standby {{ inventory_hostname }}
      - name: Start new primary
        command: galera_new_cluster
        when: inventory_hostname == groups['openstack-control'][0]
  ```

Conclusão

A experiência relatada pela Canonical demonstra que, com expertise dedicada e processos bem definidos, a recuperação de um plano de controle OpenStack pode ser realizada ao vivo, preservando todas as cargas de trabalho. Para sysadmins que operam em ambientes Ubuntu, a lição principal é investir em backups incrementais, validar a integridade dos snapshots e manter um plano de failover baseado em Galera. Além disso, a segurança do kernel e a configuração rígida de containers são pilares que evitam que falhas de software se transformem em incidentes de segurança. Ao adotar essas práticas, as organizações garantem maior estabilidade, reduzindo significativamente o risco de downtime inesperado em suas infraestruturas de nuvem privada.