User Tools

Site Tools


Sidebar

strutture:cnaf:cloud_cnaf:admins_corner:cloud_upgrade_1

Aggiornamento infrastruttura Openstack Havana => Juno

Descrizione problematica:

1. uso StayPuft (vedere task) 2. usa rete 10.10.96.0/24 3. lista macchine utilizzate attualmente

  • cloudctrl02.cloud (rack 206-11)
  • cloudnet01.cloud (rack 206-11)
  • gpfs01 + gpfs02 (storage)
  • compute → nova04…nova07 (rack 206-10)

4. Da fare

  • studiare l’uso GPFS + Cinder
  • lista macchine da usare per Juno - identificarle

Architettura Cloud@CNAF new

  • OpenStack = Juno
  • OS = CentOS7
  • MySQL + RabbitMQ → Cluster Percona con Percona Xtradb 5.5: [Diego Giovanni]
  • RabbitMQ hosts:
    • mycls01: 131.154.101.154
    • mycls02: 131.154.101.155
    • mycls03: 131.154.101.159
  • Controller + HAProxy + Keepalived + Ceilometer + MongoDB + Heat [Matteo - Alessandro]
    • 2x in HA = 206-10-32-a, 206-10-32-b
      • horizon.cloud.cnaf.infn.it ←→ 10.10.96.248 per Openstack Dashoboard ed API
      • horizon.cloud.cnaf.infn.it è un alias per vip-horizon.cloud.cnaf.infn.it
    • Note:
      • stateless - active/active, usando i HAproxy disponibili
      • HAProxy + Keepalived separati da ha0[12] solo per API per problemi di rete
        • Per com'è fatta l'infrastruttura di virtualizzazione non è possibile aggiunge un'interfaccia di rete su ha01 e ha02 per la rete 10.96 quindi haproxy e keepalived dovranno essere installati sui due controller.
  • Neutron [Matteo - Alessandro]
    • 2x in HA = 206-11-03, 206-11-07
    • "Per Tenant netwroks with VLAN"
    • LB con VLAN
    • Note:
      • DHCP agent - 2 per ogni rete
      • L3-agent - vedere possibilita' di uso script migrazione PD
      • Metadata-agent - vedere script migraz. o monitoring nagios
      • Necessarie 3 nic
  • Compute [Diego Giovanni]
    • 4x - 206-10-30-[a|b|c|d]
  • Storage [Diego Giovanni]
    • 16TB GPFS - da riusare come volumi sotto /va/lib/<servizio>
    • Note:
      • 4 LUN esportate iSCSI su gpfs01 & gpfs02, fanno parte del cluster GPFS, montati come client-GPFS → NOW backend NOVA, shared per live-migration
      • montato sui compute /var/lib/nova/instances
      • IDEA: usarli anche per glance e cinder:
        • useremo GPFS driver + 4 cartele dentro il volume configurando poi openstack
  • Foreman/Nagios - per adesso il lifecycle.cnaf.infn.it (VM su manitu), in futuro vedi Provisioning@CNAF [Diego]
    • DNS = nscloud.cloud.cnaf.infn.it
      • VM su D.C. Production (oVirt)
    • DHCP
      • su manitu
    • TFTP
      • fore101 - VM su manitu
    • Puppet
      • puparo - VM su manitu
      • uso puppetlabs-openstack solo per compute node.

La configurazione di Ceilometer in HA richiede un setup un po' "particolare" (cfg minima: MongoDB in replica set su 3 nodi, cluster ZooKeeper su 3 nodi per coordinare l'attività delle due istanze del central agent sui controller).

MongoDB potrebbe essere installato usando cloud-juno-ctrl01 e cloud-juno-ctrl02 come data-bearing nodes e un terzo nodo (da scegliere) come arbiter, ma come spazio disco siamo un po' stretti (Mongo tende ad allargarsi parecchio - non pensiamo neanche ad un setup sharding+replica altrimenti ci servono 6/7 macchine solo per MongoDB). ZooKeeper invece consiglia di tenere separati client e membri del cluster - ed in ogni caso è necessario un numero dispari di membri.

L'ideale sarebbe avere sia Mongo che ZooKeeper su 3 macchine "dedicate" (NB: a differenza di PXC+Galera, Mongo fa load-balancing delle query di lettura senza configurazioni speciali, mentre le write vanno al primary).

Per entrambi i servizi non sono richiesti né HAProxy né un VIP gestito da keepalived.

Il numero massimo di connessioni per MySQL su mycls01, mycls02 e mycls03 era rimasto al default (151), l'ho portato dinamicamente a 4096 usando SET GLOBAL max_connections=4096; ed aggiornato /etc/my.cnf:

[mysqld] max_connections = 4096

Discorso simile per HAProxy su ha01 ed ha02 in /etc/haproxy/haproxy.cfg:

  defaults
      maxconn 4096

In questo caso, ho eseguito un reload di haproxy con service haproxy reload per aggiornare la configurazione runtime.

Lista subtasks

Issue keyIssue idParent idSummaryAssigneeStatusCreated
CLOUDCNAF-2124363138269Abilitare copy-on-write per Glance/Cinder su GPFSmpanellaResolved23/Nov/15 8:51 AM
CLOUDCNAF-2054215938269Disabilitare upload immagini via DashboardUnasignedOpen02/Oct/15 9:39 AM
CLOUDCNAF-2004124338269user registration formdmichelottoClosed28/Jul/15 9:52 AM
CLOUDCNAF-1954113938269DocumentazioneaiftimClosed21/Jul/15 11:31 PM
CLOUDCNAF-1944113838269Creare una UI per i utenti della Cloud@CNAF (v. Juno)aiftimClosed21/Jul/15 2:22 PM
CLOUDCNAF-1884073438269Installazione e configurazione Compute Nodes aggiuntivimpanellaResolved29/Jun/15 10:06 PM
CLOUDCNAF-1874064838269Installazione OpenStack Rally su cloud-uimpanellaResolved25/Jun/15 3:04 PM
CLOUDCNAF-1864055338269Definire data retention interval per CeilometerResolved18/Jun/15 2:13 PM
CLOUDCNAF-1854053038269Abilitare e testare FWaaSmpanellaResolved15/Jun/15 9:46 AM
CLOUDCNAF-1844046238269web-proxy per la dashboard di cloud@CNAF JunoaiftimResolved12/Jun/15 1:29 PM
CLOUDCNAF-1704003738269Middleware WSGI per header HAProxympanellaClosed12/May/15 9:09 AM
CLOUDCNAF-1673994738269Configurare correttamente ordine di boot per GPFSmpanellaResolved08/May/15 2:43 PM
CLOUDCNAF-1583975138269configurare LBaaSaiftimResolved24/Apr/15 2:24 PM
CLOUDCNAF-1543963138269Configurare connessioni SSLmpanellaResolved14/Apr/15 2:00 PM
CLOUDCNAF-1523957438269procedura upgrade gpfs client per varie versioni CentOS ( 7.1)Closed09/Apr/15 12:15 PM
CLOUDCNAF-1513957238269upgrade cloud-uidmichelottoClosed09/Apr/15 12:05 PM
CLOUDCNAF-1473922738269Modifiche alla configurazione degli haproxy in testa a CLOUD@CNAFacostantiniResolved26/Mar/15 11:33 PM
CLOUDCNAF-1443910038269Installazione e configurazione Compute nodempanellaResolved19/Mar/15 9:36 AM
CLOUDCNAF-1433901438269Richiedere Certificato per infrastrutturadmichelottoClosed16/Mar/15 9:16 AM
CLOUDCNAF-1403899638269Installazione Network NodesacostantiniResolved13/Mar/15 11:25 AM
CLOUDCNAF-1393899538269Installazione Controller Ceilometer MongoDB e Heat NodesmpanellaResolved13/Mar/15 11:24 AM
CLOUDCNAF-1343888838269Installazione e configurazione RabbitMQ per OpenstackdmichelottoClosed10/Mar/15 10:58 AM
CLOUDCNAF-1333888738269Installazione e Configurazione Compute node tramite PuppetdmichelottoClosed10/Mar/15 10:56 AM
CLOUDCNAF-1323888638269Provisioning Macchine Cloud@CNAFdmichelottoClosed10/Mar/15 10:51 AM
CLOUDCNAF-1283878438269backup MySQL DB - cluster PerconadmichelottoClosed05/Mar/15 1:31 PM
CLOUDCNAF-1253831138269Staypuft - installazione e configurazionedmichelottoClosed17/Feb/15 8:29 AM
strutture/cnaf/cloud_cnaf/admins_corner/cloud_upgrade_1.txt · Last modified: 2020/03/02 08:24 by aiftim@infn.it