Differences

This shows you the differences between two versions of the page.

--- progetti:sbn:istruzioni_per_shifter [2020/07/08 11:07] – poppi@infn.it
+++ progetti:sbn:istruzioni_per_shifter [2024/08/01 09:49] (current) – poppi@infn.it
@@ Line 1: / Line 1: @@
+====== Istruzioni per gli shift di ICARUS - SBN da remoto ====
+----
+===== Prerequisiti =====
+  * Fermilab services account;
+  * ECL account;
+  * Fermilab Kerberos account;
+  * Fermilab VPN;
+  * Fermilab "FERMI" (Windows) domain account;
+  * iFix account;
+  * Programma per Desktop remoto;
+  * Slack account.
+Le tempistiche necessarie per ottenere questi account sono abbastanza lunghe, si consiglia di effettuare le opportune richieste almeno due settimane prima del turno di shift.
+=== Fermilab services account ===
+Questo account serve per sottomettere richieste/tickets al Service Desk di Fermilab.\\
+Si può fare richiesta al seguente link [[https://fermi.servicenowservices.com/new_acct_request.do]]. Una volta assegnato il Fermilab ID, che riceverete via mail, richiedere la password via telefono (Service Desk +1 630-840-2345).\\
+Durante la compilazione della richiesta, al fine di aver accesso alle risorse necessarie per lo shift, selezionare come affiliazione E-1052: ICARUS. Chiedere al proprio referente i contatti del responsabile a Fermilab. Se avete già un Services account Fermilab affiliato ad un altro esperimento, questo è ugualmente valido al fine di effettuare le richieste per attivare gli altri account necessari allo shift.
+=== ECL account ===
+Questo account serve per accedere all'Electronic Logbook di ICARUS.\\
+Accedere con il proprio Service account, se non si è abilitati fare richiesta tramite il seguente link [[https://dbweb0.fnal.gov/ECL/sbnfd/E/index]].
+=== Fermilab Kerberos account ===
+Questo account serve per accedere alle risorse di computing. Per attivarlo è necessario chiamare il Service Desk e farsi assegnare la password.\\
+Successivamente, da un terminale del proprio computer aprire il file di configurazione ~/.ssh/config ed assicurarsi che le seguenti opzioni siano abilitate:\\
+  ForwardX11 yes
+  ForwardX11Trusted yes
+  GSSAPIAuthentication yes
+  GSSAPIDelegateCredentials yes
+Se il proprio è computer è già stato kerberizzato, aggiungere il dominio @FNAL.GOV al file di configurazione Kerberos ( /etc/krb5.conf ), in caso contrario installare kerberos (e.g. in Linux sudo apt-get install krb5-user), scaricare il template di configurazione dal link [[https://authentication.fnal.gov/krb5conf/]] e spostare il file krb5.conf nella cartella /etc/.\\
+Per verificare se la kerberizzazione ha avuto successo, da terminale digitare:\\
+  kinit -A username@FNAL.GOV
+sostituendo opportunamente col proprio Fermilab username ed autenticandosi con la password kerberos fornita dal Service Desk. In caso di errore, verificare la corretta installazione di kerberos con il comando "which kinit" ed eventualmente reinstallare. Dopo essersi autenticati la prima volta sarà possibile modificare la password.\\
+Il Fermilab Kerberos account ha la durata di un anno, al termine del quale sarà necessario effettuare il rinnovo.\\
+=== Fermilab VPN ===
+Tramite Service Desk fare richiesta tramite modulo specifico per un RSA token (software) ed effettuare il download dell'applicazione RSA SecureID sul proprio dispositivo mobile (Google Play per Android ed Apple Store per dispositivi iOS). Una volta ricevuto il token, aprire il link ricevuto via mail con l'applicazione scaricata ed abilitare il token al seguente link [[https://rsa.fnal.gov/console-selfservice/SelfService.do]] scegliendo un codice PIN, [[https://fermi.servicenowservices.com/wp?id=kb_article&sys_id=92113c056f1f2100c8b668826e3ee4cf]]. Scaricare ed installare i certificati necessari da [[https://fermi.servicenowservices.com/wp?id=kb_article&sys_id=4d447e50db6c3b04bc62388d7c96197f]], contattare quindi il Service Desk per abilitare il proprio account per la VPN.\\
+Il software per collegarsi alla VPN può essere scaricato da [[https://v-main-gcca-1-outside.fnal.gov/+CSCOE+/logon.html#form_title_text]], autenticandosi con l'opzione "Group: SiteVPN-RSA" ed utilizzando il codice token generato dall'applicazione mobile (preceduto o meno dal proprio PIN, a seconda del dispositivo utilizzato). Effettuato il login, sarà possibile effettuare il download del client Cisco, necessario per collegarsi alla VPN.\\
+Una volta scaricato ed installato Cisco connettersi a vpn.fnal.gov ed autenticarsi con la modalità SiteVPN-RSA utilizzando le proprie credenziali Fermilab ed il codice generato dall'applicazione.\\
+Ogni volta che sarà necessario utilizzare la VPN, connettersi a FermilabVPN tramite il software Cisco e selezionare i seguenti campi:
+Group: SiteVPN-RSA\\
+Username: lo stesso del Services account\\
+password: passord del Services account\\
+seconda password: RSA code (6 cifre) generato dall'app del vostro smartphone tramite il pin a 4 cifre.
+=== Fermilab "FERMI" (Windows) domain account ===
+Il FERMI domain account è necessario per ottenere un account Windows nei computer di Fermilab, per abilitarlo ed avere la password contattare il Service Desk.
+=== iFix account ===
+iFix è il programma necessario per monitorare la criogenia di ICARUS.\\
+Una volta ottenuto il FERMI domain account contattare Bruce Howard (howard@fnal.gov) o Wenquiang Gu (wgu@bnl.gov) per richiedere l'installazione di iFix sul proprio account Windows. Tramite un'applicazione di Desktop remoto (Remote Desktop Connection per Windows 10, Microsoft Remote Desktop per Apple, Remmina per Ubuntu e Vinagre per Scientific Linux) aggiungere il PC ppd-ifix2.fnal.gov ed effettuare il login autenticandosi con le proprie credenziali FERMI Windows domain. In caso di errore aggiungere FERMI\ prima del proprio username. Dopo aver stabilito la connessione al desktop remoto, aprire l'applicazione iFix dal Desktop, selezionare l'esperimento SBN e selezionare ICARUS. Dovrebbe presentarsi la seguente schermata:\\
+\\
+{{:progetti:sbn:annotazione_2020-07-08_104002.png?400|}}\\
+=== Slack account ===
+Durante lo shift si utilizza la piattaforma Slack (nel workspace di SBN) per contattare i turnisti precedenti ed informarsi sullo svolgimento del turno. Si può accedere alla piattaforma tramite invito da parte degli utenti già iscritti al canale. Potete fare richiesta, quindi, contattando via mail uno degli iscritti al canale.
+----
+===== Svolgimento dello shift =====
+Ulteriori informazioni dettagliate per svolgere lo shift sono presenti sulla wiki di ICARUS al link [[https://cdcvs.fnal.gov/redmine/projects/icarus-operations/wiki]].
+==== Preparazione ====
+  * Collegarsi alla VPN di Fermilab;
+  * accedere ad iFix tramite Desktop Remoto per il monitoring della criogenia ICARUS;
+  * aprire tre finestre del terminale ed effettuare il kinit (kinit username@FNAL.GOV):
+- Terminale 1 - Grafana (monitoring della DAQ):\\
+  ssh -KL 10081:localhost:10080 icarus@icarus-gateway01.fnal.gov
+  ssh -KL 10080:localhost:10080 icarus@icarus-db02.fnal.gov
+ accedere tramite browser a [[http://localhost:10081]].\\
+\\
+{{:progetti:sbn:annotazione_2020-07-05_143208.png?400|}}\\
+\\
+- Terminale 2 - DAQ (VNC) per controllo/start/stop dei run:\\
+  ssh -KL 8443:icarus-evb01:443 icarus@icarus-gateway01.fnal.gov
+ accedere tramite browser a [[https://localhost:8443]].\\
+\\
+{{:progetti:sbn:vnc.png?400|}}\\
+\\
+- Terminale 3 - DCS (EPICS) VNC per lo slow control:\\
+  ssh -KL 9443:icarus-evb05:443 icarus@icarus-gateway01.fnal.gov
+ accedere tramite browser a [[https://localhost:9443]].\\
+\\
+{{:progetti:sbn:slowcontr.png?400|}}\\
+\\
+N.B. per accedere a VNC è necessario autenticarsi usando la password riportata al link [[https://dbweb8.fnal.gov:8443/ECL/sbnfd/PL/project?pid=1]].\\
+  * aprire la pagina di monitoring della DAQ [[https://sbn-online.fnal.gov/cgi-bin/icarus-minargon/icarus-minargon.wsgi/introduction]];
+  * aprire e leggere lo Shift bulletin board per vedere eventuali programmi speciali e/o news: [[https://cdcvs.fnal.gov/redmine/projects/icarus-operations/wiki/Shift_Bulletin_Board]] (il bulletin è imoportante in quanto riporta l'elenco delle componenti da selezionare in caso fosse necessario riavviare la DAQ);
+  * aprire il logbook: [[https://dbweb8.fnal.gov:8443/ECL/sbnfd/E/index]] e leggere le comunicazioni dei turni precedenti;
+  * aprire il canale di Slack Icarus-shift-operations e comunicare al turnista precedente la propria presenza.
+==== Lo shift ====
+Essere pronti almeno 15 minuti prima del completamento del turno precedente e contattare lo shifter su Slack. Inserire quindi un'entrata nel logbook per il check-in (utilizzare il form adatto dall'elenco):\\
+\\
+{{:progetti:sbn:checkin.png?600|}}\\
+\\
+Una volta che lo shifter precedente ha effettuato il check-out, aggiungere una nuova entrato per lo Shift Start (Start Shift Form). Il numero del Run è visibile dalla pagina di Grafana e da quella della DAQ.\\
+All'inizio di ogni shift è richiesto contattare la Control Room al numero __+1 630 840 3721__ per comunicare la propria presenza.\\
+Durante la fase di commissioning, il planning dello shift consiste in Cryogenics Stability Check, PMT HV Monitoring ed HV Cathode Monitoring ogni ora e DAQ (Commissioning) Check ogni 2 ore.\\
+Nel caso si presentasse qualsiasi problematica, inserire una nota nel logbook e contattare l'esperto appropriato dalla lista riportata al link [[https://sbn-docdb.fnal.gov/cgi-bin/sso/ShowDocument?docid=25638]].\\
+=== Cryogenic Stability Check ===
+{{:progetti:sbn:cryochecklist.png?600|}}{{:progetti:sbn:cryochecklist2.png?600|}}\\
+\\
+Il Cryogenic Stability Check richiede di controllare la pressione del criostato Est e Ovest, i valori sono sono riportati nel monitor di iFix come da immagine.\\
+\\
+{{:progetti:sbn:estovestpress.png?600|}}\\
+\\
+I valori accettabili di pressione sono compresi tra 45 e 130 mbar, in caso fossero differenti contattare immediatamente l'esperto indicato. Segnalare nei commenti la presenza di eventuali segnali di allarme (rosso e giallo) e contattare un esperto.\\
+Allegare alla checklist uno screenshot di iFix.\\
+=== PMT HV Monitoring ===
+{{:progetti:sbn:annotazione_2020-07-13_101204.png?400|}}{{:progetti:sbn:annotazione_2020-07-13_101025.png?800|}}\\
+\\
+Il PMT HV Monitoring richiede di controllare le informazioni principali riguardanti i PMT attualmente accesi. I valori richiesti sono divisi in due schermate, entrambe riportate nelle figure seguenti. Il form chiede di verificare lo stato dei PMT di entrambi i settore est ed ovest.\\
+La seconda schermata si può accedere cliccando sul bottone "Channel Monitor", evidenziato dalle frecce.\\
+A questo link [[https://cdcvs.fnal.gov/redmine/projects/icarus-operations/wiki/PMT_On_Or_Off]] è possibile verificare quali PMT devono risultare attivi ed eventuali informazioni utili.\\
+Link alla wiki Fermilab: https://cdcvs.fnal.gov/redmine/projects/icarus-operations/wiki/PMT_HV_Monitoring\\
+\\
+{{:progetti:sbn:immagine1.png?400|}}{{:progetti:sbn:immagine2.png?800|}}\\
+\\
+=== HV Cathode Monitoring ===
+{{:progetti:sbn:immagine_2020-09-29_083321.png?600|}}\\
+L'HV Cathode monitoring, da compilare ogni ora, richiede di monitorare i valore di tensione e corrente del catodo.\\
+L'HV del catodo è stata aggiunta al monitoring online [[https://sbn-online.fnal.gov/cgi-bin/icarus-minargon/icarus-minargon.wsgi/epics/cathodehv]], da qui è possibile osservare la tensione attuale (icarus_cathodehv_monitor/volt) e la corrente (icarus_cathodehv_monitor/current). La pagina richiede un refresh per leggere i valori attuali, assicurarsi, controllando il timestamp, che la lettura della tensione sia più recente di 10 minuti, in caso di contrario contattare gli esperti. Valori tipici di tensioni sono **75161V**, **75186V**, e **75212V**, se la tensione supera **75311V** o scende sotto **74959V** contattare subito gli esperti.\\
+{{:progetti:sbn:immagine_2020-09-29_083417.png?600|}}\\
+Inoltre, allo shifter è richiesto di controllare eventuali spike/dip nei plot di tensione e corrente (rispettivamente [[https://sbn-online.fnal.gov/cgi-bin/icarus-minargon/icarus-minargon.wsgi/pv_single_stream/epics/163]] e [[https://sbn-online.fnal.gov/cgi-bin/icarus-minargon/icarus-minargon.wsgi/pv_single_stream/epics/164]]). Per quanto concerne la tensione, il limite superiore ed inferiore è quello riportato in precedenza, per la corrente, invece, valori tipici sono **392uA**, **393uA** e **394uA**, se la corrente supera **395uA** o scende sotto **390uA**, contattare subito gli esperti.\\
+{{:progetti:sbn:immagine_2020-09-30_105435.png?600|}}{{:progetti:sbn:immagine_2020-09-30_105446.png?600|}}\\
+Per ulteriori dubbi: [[https://cdcvs.fnal.gov/redmine/projects/icarus-operations/wiki/CathodeHVMonitoring]].\\
+=== DAQ (Commissioning) Check ===
+{{:progetti:sbn:daqcheck.png?600|}}{{:progetti:sbn:daqcheck2.png?400|}}\\
+\\
+La DAQ Checklist richiede di monitorare diversi valori dalla pagina di Grafana, nella figura qui sotto riportata è evidenziato dove trovare tali valori. Per quanto concerne il trigger events, può capitare che il valore riportato da Grafana risulti dimezzato, in questo caso aspettare qualche istante che il refresh lo ristabilizzi, in questo caso i tre valori riportati nella tabella "Events Released to Art From This Run" risultano simili.\\
+\\
+{{:progetti:sbn:daqcheck3grafana.png?800|}}\\
+\\
+La Checklist chiede inoltre di verificare che l'Online Monitoring funzioni correttamente, per fare ciò verificare che la pagina [[https://sbn-online.fnal.gov/cgi-bin/icarus-minargon/icarus-minargon.wsgi/introduction]] sia in costante update, per esempio andando ad osservare le metriche della TPC e dei PMT.\\
+\\
+{{:progetti:sbn:annotazione_2020-07-05_143251.png?600|}}\\
+Nel caso in cui l'Online Monitoring risultasse non funzionante, seguire la procedura riportata al link [[https://cdcvs.fnal.gov/redmine/projects/icarus-operations/wiki/Taking_data_from_the_Control_Room]] per chiudere l'acquisizione ed iniziarne una nuova. Seguire questa procedura anche per iniziare una nuova acquisizione dopo il completamento della precedente. In caso non si riuscisse a risolvere il problema, contattare un esperto.\\
+=== Conclusione dello shift ===
+Non abbandonare lo shift finchè non si presenta il nuovo shifter, attendere un suo messaggio su Slack e che compili il form di Check-in. In caso non si presenti, contattare un referente.\\
+Al termine dello shift, aggiungere l'entrata Shift Check-Out al logbook.\\
+=== Ulteriori informazioni e Link utili ===
+In caso di turno DAY, all'inizio dello shift è richiesto di compilare il form Daily ICARUS Access ed enserire le attività che verranno fatte presso il Far Detector in quella giornata, le attività previste sono riportate al link [[https://dbweb5.fnal.gov:8443/ECL/sbnfd/PL/project?pid=2]].\\
+Una documentazione più completa sugli shift può essere recuperata ai link [[https://cdcvs.fnal.gov/redmine/projects/icarus-operations/wiki/What_to_do_on_shift]] e [[https://cdcvs.fnal.gov/redmine/projects/icarus-operations/wiki/RemoteShift]].