User Tools

Site Tools


Sidebar

progetti:sbn:istruzioni_per_shifter

Istruzioni per gli shift di ICARUS - SBN da remoto


Prerequisiti

  • Fermilab services account;
  • ECL account;
  • Fermilab Kerberos account;
  • Fermilab VPN;
  • Fermilab "FERMI" (Windows) domain account;
  • iFix account;
  • Programma per Desktop remoto;
  • Slack account.

Le tempistiche necessarie per ottenere questi account sono abbastanza lunghe, si consiglia di effettuare le opportune richieste almeno due settimane prima del turno di shift.

Fermilab services account

Questo account serve per sottomettere richieste/tickets al Service Desk di Fermilab.
Si può fare richiesta al seguente link https://fermi.servicenowservices.com/new_acct_request.do. Una volta assegnato il Fermilab ID, che riceverete via mail, richiedere la password via telefono (Service Desk +1 630-840-2345).
Durante la compilazione della richiesta, al fine di aver accesso alle risorse necessarie per lo shift, selezionare come affiliazione E-1052: ICARUS. Chiedere al proprio referente i contatti del responsabile a Fermilab. Se avete già un Services account Fermilab affiliato ad un altro esperimento, questo è ugualmente valido al fine di effettuare le richieste per attivare gli altri account necessari allo shift.

ECL account

Questo account serve per accedere all'Electronic Logbook di ICARUS.
Accedere con il proprio Service account, se non si è abilitati fare richiesta tramite il seguente link https://dbweb5.fnal.gov:8443/ECL/sbnfd/U/account_request.

Fermilab Kerberos account

Questo account serve per accedere alle risorse di computing. Per attivarlo è necessario chiamare il Service Desk e farsi assegnare la password.
Successivamente, da un terminale del proprio computer aprire il file di configurazione ~/.ssh/config ed assicurarsi che le seguenti opzioni siano abilitate:

ForwardX11 yes
ForwardX11Trusted yes
GSSAPIAuthentication yes
GSSAPIDelegateCredentials yes

Se il proprio è computer è già stato kerberizzato, aggiungere il dominio @FNAL.GOV al file di configurazione Kerberos ( /etc/krb5.conf ), in caso contrario installare kerberos (e.g. in Linux sudo apt-get install krb5-user), scaricare il template di configurazione dal link https://authentication.fnal.gov/krb5conf/ e spostare il file krb5.conf nella cartella /etc/.
Per verificare se la kerberizzazione ha avuto successo, da terminale digitare:

kinit -A username@FNAL.GOV

sostituendo opportunamente col proprio Fermilab username ed autenticandosi con la password kerberos fornita dal Service Desk. In caso di errore, verificare la corretta installazione di kerberos con il comando "which kinit" ed eventualmente reinstallare. Dopo essersi autenticati la prima volta sarà possibile modificare la password.
Il Fermilab Kerberos account ha la durata di un anno, al termine del quale sarà necessario effettuare il rinnovo.

Fermilab VPN

Tramite Service Desk fare richiesta tramite modulo specifico per un RSA token (software) ed effettuare il download dell'applicazione RSA SecureID sul proprio dispositivo mobile (Google Play per Android ed Apple Store per dispositivi iOS). Una volta ricevuto il token, aprire il link ricevuto via mail con l'applicazione scaricata ed abilitare il token al seguente link https://rsa.fnal.gov/console-selfservice/SelfService.do scegliendo un codice PIN, https://fermi.servicenowservices.com/wp?id=kb_article&sys_id=92113c056f1f2100c8b668826e3ee4cf. Scaricare ed installare i certificati necessari da https://fermi.servicenowservices.com/wp?id=kb_article&sys_id=4d447e50db6c3b04bc62388d7c96197f, contattare quindi il Service Desk per abilitare il proprio account per la VPN.
Il software per collegarsi alla VPN può essere scaricato da https://v-main-gcca-1-outside.fnal.gov/+CSCOE+/logon.html#form_title_text, autenticandosi con l'opzione "Group: SiteVPN-RSA" ed utilizzando il codice token generato dall'applicazione mobile (preceduto o meno dal proprio PIN, a seconda del dispositivo utilizzato). Effettuato il login, sarà possibile effettuare il download del client Cisco, necessario per collegarsi alla VPN.
Una volta scaricato ed installato Cisco connettersi a vpn.fnal.gov ed autenticarsi con la modalità SiteVPN-RSA utilizzando le proprie credenziali Fermilab ed il codice generato dall'applicazione.
Ogni volta che sarà necessario utilizzare la VPN, connettersi a FermilabVPN tramite il software Cisco e selezionare i seguenti campi: Group: SiteVPN-RSA
Username: lo stesso del Services account
password: passord del Services account
seconda password: RSA code (6 cifre) generato dall'app del vostro smartphone tramite il pin a 4 cifre.

Fermilab "FERMI" (Windows) domain account

Il FERMI domain account è necessario per ottenere un account Windows nei computer di Fermilab, per abilitarlo ed avere la password contattare il Service Desk.

iFix account

iFix è il programma necessario per monitorare la criogenia di ICARUS.
Una volta ottenuto il FERMI domain account contattare Bruce Howard (howard@fnal.gov) o Wenquiang Gu (wgu@bnl.gov) per richiedere l'installazione di iFix sul proprio account Windows. Tramite un'applicazione di Desktop remoto (Remote Desktop Connection per Windows 10, Microsoft Remote Desktop per Apple, Remmina per Ubuntu e Vinagre per Scientific Linux) aggiungere il PC ppd-ifix2.fnal.gov ed effettuare il login autenticandosi con le proprie credenziali FERMI Windows domain. In caso di errore aggiungere FERMI\ prima del proprio username. Dopo aver stabilito la connessione al desktop remoto, aprire l'applicazione iFix dal Desktop, selezionare l'esperimento SBN e selezionare ICARUS. Dovrebbe presentarsi la seguente schermata:


Slack account

Durante lo shift si utilizza la piattaforma Slack (nel workspace di SBN) per contattare i turnisti precedenti ed informarsi sullo svolgimento del turno. Si può accedere alla piattaforma tramite invito da parte degli utenti già iscritti al canale. Potete fare richiesta, quindi, contattando via mail uno degli iscritti al canale.


Svolgimento dello shift

Ulteriori informazioni dettagliate per svolgere lo shift sono presenti sulla wiki di ICARUS al link https://cdcvs.fnal.gov/redmine/projects/icarus-operations/wiki.

Preparazione

  • Collegarsi alla VPN di Fermilab;
  • accedere ad iFix tramite Desktop Remoto per il monitoring della criogenia ICARUS;
  • aprire tre finestre del terminale ed effettuare il kinit (kinit username@FNAL.GOV):

- Terminale 1 - Grafana (monitoring della DAQ):

ssh -KL 10080:localhost:10080 icarus@icarus-gateway01.fnal.gov
ssh -KL 10080:localhost:10080 icarus@icarus-db02.fnal.gov

accedere tramite browser a http://localhost:10080.



- Terminale 2 - DAQ (VNC) per controllo/start/stop dei run:

ssh -KL 8443:icarus-evb01:443 icarus@icarus-gateway01.fnal.gov

accedere tramite browser a https://localhost:8443.



- Terminale 3 - DCS (EPICS) VNC per lo slow control:

ssh -KL 9443:icarus-evb06:443 icarus@icarus-gateway01.fnal.gov

accedere tramite browser a https://localhost:9443.



N.B. per accedere a VNC è necessario autenticarsi usando la password riportata al link https://dbweb5.fnal.gov:8443/ECL/sbnfd/PL/project?pid=1.

Lo shift

Essere pronti almeno 15 minuti prima del completamento del turno precedente e contattare lo shifter su Slack. Inserire quindi un'entrata nel logbook per il check-in (utilizzare il form adatto dall'elenco):



Una volta che lo shifter precedente ha effettuato il check-out, aggiungere una nuova entrato per lo Shift Start (Start Shift Form). Il numero del Run è visibile dalla pagina di Grafana e da quella della DAQ.
Durante la fase di commissioning, il planning dello shift consiste in Cryogenics Stability Check, PMT HV Monitoring ed HV Cathode Monitoring ogni ora e DAQ (Commissioning) Check ogni 2 ore.
Nel caso si presentasse qualsiasi problematica, inserire una nota nel logbook e contattare l'esperto appropriato dalla lista riportata al link https://sbn-docdb.fnal.gov/cgi-bin/private/ShowDocument?docid=15862.

Cryogenic Stability Check



Il Cryogenic Stability Check richiede di controllare la pressione del criostato Est e Ovest, i valori sono sono riportati nel monitor di iFix come da immagine.



I valori accettabili di pressione sono compresi tra 45 e 130 mbar, in caso fossero differenti contattare immediatamente l'esperto indicato. Segnalare nei commenti la presenza di eventuali segnali di allarme (rosso e giallo) e contattare un esperto.
Allegare alla checklist uno screenshot di iFix.

PMT HV Monitoring



Il PMT HV Monitoring richiede di controllare le informazioni principali riguardanti i PMT attualmente accesi. I valori richiesti sono divisi in due schermate, entrambe riportate nelle figure seguenti. Il form chiede di verificare lo stato dei PMT di entrambi i settore est ed ovest.
La seconda schermata si può accedere cliccando sul bottone "Channel Monitor", evidenziato dalle frecce.
A questo link https://cdcvs.fnal.gov/redmine/projects/icarus-operations/wiki/PMT_On_Or_Off è possibile verificare quali PMT devono risultare attivi ed eventuali informazioni utili.
Link alla wiki Fermilab: https://cdcvs.fnal.gov/redmine/projects/icarus-operations/wiki/PMT_HV_Monitoring



HV Cathode Monitoring


L'HV Cathode monitoring, da compilare ogni ora, richiede di monitorare i valore di tensione e corrente del catodo.
L'HV del catodo è stata aggiunta al monitoring online https://sbn-online.fnal.gov/cgi-bin/icarus-minargon/icarus-minargon.wsgi/epics/cathodehv, da qui è possibile osservare la tensione attuale (icarus_cathodehv_monitor/volt) e la corrente (icarus_cathodehv_monitor/current). La pagina richiede un refresh per leggere i valori attuali, assicurarsi, controllando il timestamp, che la lettura della tensione sia più recente di 10 minuti, in caso di contrario contattare gli esperti. Valori tipici di tensioni sono 75161V, 75186V, e 75212V, se la tensione supera 75311V o scende sotto 74959V contattare subito gli esperti.

Inoltre, allo shifter è richiesto di controllare eventuali spike/dip nei plot di tensione e corrente (rispettivamente https://sbn-online.fnal.gov/cgi-bin/icarus-minargon/icarus-minargon.wsgi/pv_single_stream/epics/163 e https://sbn-online.fnal.gov/cgi-bin/icarus-minargon/icarus-minargon.wsgi/pv_single_stream/epics/164). Per quanto concerne la tensione, il limite superiore ed inferiore è quello riportato in precedenza, per la corrente, invece, valori tipici sono 392uA, 393uA e 394uA, se la corrente supera 395uA o scende sotto 390uA, contattare subito gli esperti.

Per ulteriori dubbi: https://cdcvs.fnal.gov/redmine/projects/icarus-operations/wiki/CathodeHVMonitoring.

DAQ (Commissioning) Check



La DAQ Checklist richiede di monitorare diversi valori dalla pagina di Grafana, nella figura qui sotto riportata è evidenziato dove trovare tali valori. Per quanto concerne il trigger events, può capitare che il valore riportato da Grafana risulti dimezzato, in questo caso aspettare qualche istante che il refresh lo ristabilizzi, in questo caso i tre valori riportati nella tabella "Events Released to Art From This Run" risultano simili.



La Checklist chiede inoltre di verificare che l'Online Monitoring funzioni correttamente, per fare ciò verificare che la pagina https://sbn-online.fnal.gov/cgi-bin/icarus-minargon/icarus-minargon.wsgi/introduction sia in costante update, per esempio andando ad osservare le metriche della TPC e dei PMT.


Nel caso in cui l'Online Monitoring risultasse non funzionante, seguire la procedura riportata al link https://cdcvs.fnal.gov/redmine/projects/icarus-operations/wiki/Taking_data_from_the_Control_Room per chiudere l'acquisizione ed iniziarne una nuova. Seguire questa procedura anche per iniziare una nuova acquisizione dopo il completamento della precedente. In caso non si riuscisse a risolvere il problema, contattare un esperto.

Conclusione dello shift

Non abbandonare lo shift finchè non si presenta il nuovo shifter, attendere un suo messaggio su Slack e che compili il form di Check-in. In caso non si presenti, contattare un referente.
Al termine dello shift, aggiungere l'entrata Shift Check-Out al logbook.

In caso di turno DAY, all'inizio dello shift è richiesto di compilare il form Daily ICARUS Access ed enserire le attività che verranno fatte presso il Far Detector in quella giornata, le attività previste sono riportate al link https://dbweb5.fnal.gov:8443/ECL/sbnfd/PL/project?pid=2.
Una documentazione più completa sugli shift può essere recuperata ai link https://cdcvs.fnal.gov/redmine/projects/icarus-operations/wiki/What_to_do_on_shift e https://cdcvs.fnal.gov/redmine/projects/icarus-operations/wiki/RemoteShift.

progetti/sbn/istruzioni_per_shifter.txt · Last modified: 2020/09/30 08:57 by poppi@infn.it