User Tools

Site Tools


Sidebar

strutture:pi:computing_center:farm_di_analisi_interattiva:utilizzo_della_fai

UTILIZZO DELLA FAI


La farm di analisi interattiva offre la possibilità di sottomettere su tre code distinte, nello specifico:

"fai"
Sottointende a 3 hosts con distribuzione Scientific Linux ver.6 e walltime pari a 25 ore
"fai5"
Sottointende a 3 hosts con distribuzione Scientific Linux ver.5 e walltime pari a 25 ore
"faihmem"
Sottointende a 1 host con distribuzione Scientific Linux ver.6 e walltime pari a 25 ore estendibile fino a 1 settimana


Dopo aver effettuato tutte le operazioni preliminari e fatto login sulla localui dedicata, si potrà sottomettere un job ad una delle code sopramenzionate.

  • apertura di una shell con assegnazione di 1 Job Slot:
bsub -Is -q "nomecoda" /bin/bash -l

con questo comando ci verrà assegnato un Job Slot su uno dei nodi della farm su cui verrà avviata una shell bash con il relativo prompt dei comandi, da questo punto in poi ogni comando che verrà digitato sarà eseguito dal nodo remoto

  • apertura di una shell con assegnazione di più Job Slot(tutti sul solito nodo):
bsub -Is -n 4 -R "span[hosts=1]" -q "nomecoda" /bin/bash -l

Otterremo una shell bash da cui eseguire i nostri comandi, con assegnati 4 Job Slot tutti sul solito nodo di calcolo(unica opzione possibile e comunque con numero massimo pari a 16). Questo comando è utile nel caso si abbia necessità di eseguire applicazioni parallele o multithread; si attenderà in coda fino a quando su un nodo della farm non saranno disponibili tutti i Job Slot richiesti.

L'assegnazione delle risorse sulle code avviene su base "memoria", si deve cioè specificare il quantitativo di memoria di cui si avrà bisogno (di default ne viene assegnato 1GB se si omette l'opportuno parametro). Per specificare la RAM richiesta si dovrà aggiungere la seguente opzione agli esempi di cui sopra.

-R "rusage[mem=X]"

dove X è la quantità di RAM richiesta espressa in MB.

Solo per la coda faihmem
Se si vuole estendere il walltime (di default è pari a 25h), fino ad un massimo di 1 settmana(10080 minuti), è necessario aggiungere il parametro -W 10080(max)

Software/librerie disponibili

Compilatori Intel

Sono disponibili i compilatori C e Fortran di Intel e relative librerie (versione 12.0.3) per poterli utilizzare è necessario definire le opportune variabili di ambiente tramite il comando:

source /opt/intel/bin/compilervars.[c]sh intel64/ia32

secondo che si stia usando sh/bash oppure csh/tcsh e che si voglia l'ambiente a 64bit o 32bit.

Mathematica

Sulla FAI sono disponibili due versioni di Mathematica, la 6.0.2 e la 9.0.

Per poterle utilizzare è sufficiente impartire il comando mathematica6 (per la versione 6.0.2) mathematica9 (per la versione 9.0)

il comando: mathematica per convenzione e compatibilita’ con il passato punta alla versione 6. (analoga convenzione per gli altri comandi tipici di Mathematica)

- possibilità di installazione/uso fuori dalla FAI è possibile installare/utilizzare mathematica anche sul proprio PC, ma ATTENZIONE, in questo caso l'uso e' limitato alla connessione di rete in istituto, non puo' funzionare fuori sede. Ci sono due opzioni:
1) Se il PC è Linux ed ha AFS in funzione si può puntare direttamente all'area AFS in cui è installato il software, sia lanciando il programma con il path assoluto che mettendo un opportuno link sul proprio PC:

/afs/pi.infn.it/pisw/Wolfram/6.0/Executables/math
/afs/pi.infn.it/pisw/Wolfram/6.0/Executables/mathematica
/afs/pi.infn.it/pisw/Wolfram/6.0/Executables/Mathematica
/afs/pi.infn.it/pisw/Wolfram/6.0/Executables/MathKernel
/afs/pi.infn.it/pisw/Wolfram/6.0/Executables/mcc

e analoghi path per la versione 9.

ATTENZIONE per la licenza occorre editare il file /usr/share/Mathematica/Licensing/mathpass che deve contenere le seguenti righe (rispettandone l’ordine):

!pcsc10.pi.infn.it
!mathlm.na.infn.it
 

2) Alternativamente (ad esempio se non si ha AFS o se il PC utilizza Windows) è possibile effettuare una installazione locale sulla macchina. Per questa operazione rivolgersi all’ IT Division.

Matlab

E' disponibile la versione R2008b del software Matlab di MathWorks dato che la licenza disponibile non è di tipo float per il momento questo software è disponbile solo sul nodo faiwn1 e quindi per poterlo utilizzare è necessario sottomettere il proprio job interattivo richiedendo specificatamente questo nodo con il comando:

bsub -Is -q fai -m faiwn1 /bin/bash -l

e quindi dare il comando

matlab

al prompt.

ACCESSO ALLA FAI


Assistenza

Per qualsiasi dubbio o informazione potete mandare una mail all'IT Division all'indirizzo:

localq-support@lists.pi.infn.it

Verrete contattati al più presto dal gruppo.






english version

USE OF FAI


FAI offers the possibility to subission on three separate queues, specifically:

"fai"
Connected to 3 hosts with Scientific Linux ver.6 and 25 hours of walltime
"fai5"
Connected to 3 hosts with Scientific Linux ver.5 and 25 hours of walltime
"faihmem"
Connected to 1 hosts with Scientific Linux ver.6 and 25 hours to 1 week of walltime


After making the necessary preliminary steps and login on the dedicated localui, user can submit the job on the available queues.

  • Using a shell reserving 1 jobslot:
bsub -Is -q "name of queue to use" /bin/bash -l

With this command, user will reserve 1 Jobslot on one of the nodes of the farm on which will be activate a shell bash with the relative prompt, from this point on, every command that is typed, will be performed by the remote node

  • Using a shell reserving more jobslot:(on the same node):
bsub -Is -n 4 -R "span[hosts=1]" -q "name of queue to use" /bin/bash -l

With this command, user will reserve 4 Jobslot on the same node(max 16).This command is useful to use parallel and multithread applications. User will wait until in the node will not be available all of the job slots required by the command.
emory

The allocation of resources is based on the "memory". Users must specify the amount of memory they will need (by default memory assigned is 1GB if the appropriate parameter is not specified). To specify the required RAM, user must add the following option.

-R "rusage[mem=X]"

X parameters is the required RAM in Mb.

Only for faihmem's queue
To extend the walltime (25h default), max to 1 week(10080 minutes), is necessary use the -W 10080(max)

Available Software/libraries

Intel Compilers

C and Fortran Compilers with the relative libraries(v.12.0.3) are available.To use them is necessary define the appropriate environment variables using:

source /opt/intel/bin/compilervars.[c]sh intel64/ia32

depending if you are using sh/bash or csh/tcsh and user want the 64bit or 32bit environment.

Mathematica

Mathematica v. 6.0.2 and v. 9.0. are available on FAI.

To use them is necessary use the command: mathematica6 (v. 6.0.2) mathematica9 (v. 9.0)

Using the command: mathematica will start 6. (similar for other commands of Mathematica)

- Is possible to install and to use outside for the FAI User can also install and use Mathematica on your computer, ma ATTENZIONE, be careful, in this case the use is limited to the network connection in the Istitution, can not work out of the office. There are two options:
1) If PC use Linux and have access on AFS, user can connect to the directory on which the software is installed, by absolute path or by link on own PC:

/afs/pi.infn.it/pisw/Wolfram/6.0/Executables/math
/afs/pi.infn.it/pisw/Wolfram/6.0/Executables/mathematica
/afs/pi.infn.it/pisw/Wolfram/6.0/Executables/Mathematica
/afs/pi.infn.it/pisw/Wolfram/6.0/Executables/MathKernel
/afs/pi.infn.it/pisw/Wolfram/6.0/Executables/mcc

The same is for the 9 version.

For the license is necessary to edit the file /usr/share/Mathematica/Licensing/mathpass with this code:

!pcsc10.pi.infn.it
!mathlm.na.infn.it
 

2)Alternatively (for example if user don't have AFS or if the computer uses Windows) user can make a local installation on the machine.

To do this, please contact the IT Division.
Matlab

The Mathworks Matlab R2008b is available only on the node called faiwn1, to use it it necessary type the command:

bsub -Is -q fai -m faiwn1 /bin/bash -l

and type the command

matlab

at prompt.

LOGIN


to request help

For any questions or information users can send an email to the IT Division:

localq-support@lists.pi.infn.it

You'll be contacted asap by a member's group.

strutture/pi/computing_center/farm_di_analisi_interattiva/utilizzo_della_fai.txt · Last modified: 2014/02/06 09:03 by carusog@infn.it