Table of Contents
Aggiornamento infrastruttura Openstack Havana => Juno
Descrizione problematica:
1. uso StayPuft (vedere task) 2. usa rete 10.10.96.0/24 3. lista macchine utilizzate attualmente
- cloudctrl02.cloud (rack 206-11)
- cloudnet01.cloud (rack 206-11)
- gpfs01 + gpfs02 (storage)
- compute → nova04…nova07 (rack 206-10)
4. Da fare
- studiare l’uso GPFS + Cinder
- lista macchine da usare per Juno - identificarle
Architettura Cloud@CNAF new
- OpenStack = Juno
- OS = CentOS7
- MySQL + RabbitMQ → Cluster Percona con Percona Xtradb 5.5: [Diego Giovanni]
- mycls01, 02, 03 - 206-10-20-c, 206-10-20-a, 206-10-20-b [ https://wiki.italiangrid.it/twiki/bin/view/GestioneServiziGenerali/ClusterPercona ]
- ha01, ha02 con haproxy 1.5.2 - VM su D.C. Production (oVirt)
- ha01, ha02 con keepalived 1.2.13
- vip-keep.cnaf.infn.it ←→ 131.154.101.11 per mysql e rabbitmq server
- RabbitMQ hosts:
- mycls01: 131.154.101.154
- mycls02: 131.154.101.155
- mycls03: 131.154.101.159
- Controller + HAProxy + Keepalived + Ceilometer + MongoDB + Heat [Matteo - Alessandro]
- 2x in HA = 206-10-32-a, 206-10-32-b
- horizon.cloud.cnaf.infn.it ←→ 10.10.96.248 per Openstack Dashoboard ed API
- horizon.cloud.cnaf.infn.it è un alias per vip-horizon.cloud.cnaf.infn.it
- Note:
- stateless - active/active, usando i HAproxy disponibili
- HAProxy + Keepalived separati da ha0[12] solo per API per problemi di rete
- Per com'è fatta l'infrastruttura di virtualizzazione non è possibile aggiunge un'interfaccia di rete su ha01 e ha02 per la rete 10.96 quindi haproxy e keepalived dovranno essere installati sui due controller.
- Neutron [Matteo - Alessandro]
- 2x in HA = 206-11-03, 206-11-07
- "Per Tenant netwroks with VLAN"
- LB con VLAN
- Note:
- DHCP agent - 2 per ogni rete
- L3-agent - vedere possibilita' di uso script migrazione PD
- Metadata-agent - vedere script migraz. o monitoring nagios
- Necessarie 3 nic
- Compute [Diego Giovanni]
- 4x - 206-10-30-[a|b|c|d]
- Storage [Diego Giovanni]
- 16TB GPFS - da riusare come volumi sotto /va/lib/<servizio>
- Note:
- 4 LUN esportate iSCSI su gpfs01 & gpfs02, fanno parte del cluster GPFS, montati come client-GPFS → NOW backend NOVA, shared per live-migration
- montato sui compute /var/lib/nova/instances
- IDEA: usarli anche per glance e cinder:
- useremo GPFS driver + 4 cartele dentro il volume configurando poi openstack
- Foreman/Nagios - per adesso il lifecycle.cnaf.infn.it (VM su manitu), in futuro vedi Provisioning@CNAF [Diego]
- DNS = nscloud.cloud.cnaf.infn.it
- VM su D.C. Production (oVirt)
- DHCP
- su manitu
- TFTP
- fore101 - VM su manitu
- Puppet
- puparo - VM su manitu
- uso puppetlabs-openstack solo per compute node.
La configurazione di Ceilometer in HA richiede un setup un po' "particolare" (cfg minima: MongoDB in replica set su 3 nodi, cluster ZooKeeper su 3 nodi per coordinare l'attività delle due istanze del central agent sui controller).
MongoDB potrebbe essere installato usando cloud-juno-ctrl01 e cloud-juno-ctrl02 come data-bearing nodes e un terzo nodo (da scegliere) come arbiter, ma come spazio disco siamo un po' stretti (Mongo tende ad allargarsi parecchio - non pensiamo neanche ad un setup sharding+replica altrimenti ci servono 6/7 macchine solo per MongoDB). ZooKeeper invece consiglia di tenere separati client e membri del cluster - ed in ogni caso è necessario un numero dispari di membri.
L'ideale sarebbe avere sia Mongo che ZooKeeper su 3 macchine "dedicate" (NB: a differenza di PXC+Galera, Mongo fa load-balancing delle query di lettura senza configurazioni speciali, mentre le write vanno al primary).
Per entrambi i servizi non sono richiesti né HAProxy né un VIP gestito da keepalived.
Il numero massimo di connessioni per MySQL su mycls01, mycls02 e mycls03 era rimasto al default (151), l'ho portato dinamicamente a 4096 usando SET GLOBAL max_connections=4096; ed aggiornato /etc/my.cnf:
[mysqld] max_connections = 4096
Discorso simile per HAProxy su ha01 ed ha02 in /etc/haproxy/haproxy.cfg:
defaults maxconn 4096
In questo caso, ho eseguito un reload di haproxy con service haproxy reload per aggiornare la configurazione runtime.
Lista subtasks
Issue key | Issue id | Parent id | Summary | Assignee | Status | Created |
---|---|---|---|---|---|---|
CLOUDCNAF-212 | 43631 | 38269 | Abilitare copy-on-write per Glance/Cinder su GPFS | mpanella | Resolved | 23/Nov/15 8:51 AM |
CLOUDCNAF-205 | 42159 | 38269 | Disabilitare upload immagini via Dashboard | Unasigned | Open | 02/Oct/15 9:39 AM |
CLOUDCNAF-200 | 41243 | 38269 | user registration form | dmichelotto | Closed | 28/Jul/15 9:52 AM |
CLOUDCNAF-195 | 41139 | 38269 | Documentazione | aiftim | Closed | 21/Jul/15 11:31 PM |
CLOUDCNAF-194 | 41138 | 38269 | Creare una UI per i utenti della Cloud@CNAF (v. Juno) | aiftim | Closed | 21/Jul/15 2:22 PM |
CLOUDCNAF-188 | 40734 | 38269 | Installazione e configurazione Compute Nodes aggiuntivi | mpanella | Resolved | 29/Jun/15 10:06 PM |
CLOUDCNAF-187 | 40648 | 38269 | Installazione OpenStack Rally su cloud-ui | mpanella | Resolved | 25/Jun/15 3:04 PM |
CLOUDCNAF-186 | 40553 | 38269 | Definire data retention interval per Ceilometer | Resolved | 18/Jun/15 2:13 PM | |
CLOUDCNAF-185 | 40530 | 38269 | Abilitare e testare FWaaS | mpanella | Resolved | 15/Jun/15 9:46 AM |
CLOUDCNAF-184 | 40462 | 38269 | web-proxy per la dashboard di cloud@CNAF Juno | aiftim | Resolved | 12/Jun/15 1:29 PM |
CLOUDCNAF-170 | 40037 | 38269 | Middleware WSGI per header HAProxy | mpanella | Closed | 12/May/15 9:09 AM |
CLOUDCNAF-167 | 39947 | 38269 | Configurare correttamente ordine di boot per GPFS | mpanella | Resolved | 08/May/15 2:43 PM |
CLOUDCNAF-158 | 39751 | 38269 | configurare LBaaS | aiftim | Resolved | 24/Apr/15 2:24 PM |
CLOUDCNAF-154 | 39631 | 38269 | Configurare connessioni SSL | mpanella | Resolved | 14/Apr/15 2:00 PM |
CLOUDCNAF-152 | 39574 | 38269 | procedura upgrade gpfs client per varie versioni CentOS ( 7.1) | Closed | 09/Apr/15 12:15 PM | |
CLOUDCNAF-151 | 39572 | 38269 | upgrade cloud-ui | dmichelotto | Closed | 09/Apr/15 12:05 PM |
CLOUDCNAF-147 | 39227 | 38269 | Modifiche alla configurazione degli haproxy in testa a CLOUD@CNAF | acostantini | Resolved | 26/Mar/15 11:33 PM |
CLOUDCNAF-144 | 39100 | 38269 | Installazione e configurazione Compute node | mpanella | Resolved | 19/Mar/15 9:36 AM |
CLOUDCNAF-143 | 39014 | 38269 | Richiedere Certificato per infrastruttura | dmichelotto | Closed | 16/Mar/15 9:16 AM |
CLOUDCNAF-140 | 38996 | 38269 | Installazione Network Nodes | acostantini | Resolved | 13/Mar/15 11:25 AM |
CLOUDCNAF-139 | 38995 | 38269 | Installazione Controller Ceilometer MongoDB e Heat Nodes | mpanella | Resolved | 13/Mar/15 11:24 AM |
CLOUDCNAF-134 | 38888 | 38269 | Installazione e configurazione RabbitMQ per Openstack | dmichelotto | Closed | 10/Mar/15 10:58 AM |
CLOUDCNAF-133 | 38887 | 38269 | Installazione e Configurazione Compute node tramite Puppet | dmichelotto | Closed | 10/Mar/15 10:56 AM |
CLOUDCNAF-132 | 38886 | 38269 | Provisioning Macchine Cloud@CNAF | dmichelotto | Closed | 10/Mar/15 10:51 AM |
CLOUDCNAF-128 | 38784 | 38269 | backup MySQL DB - cluster Percona | dmichelotto | Closed | 05/Mar/15 1:31 PM |
CLOUDCNAF-125 | 38311 | 38269 | Staypuft - installazione e configurazione | dmichelotto | Closed | 17/Feb/15 8:29 AM |