EGICF 2014: Storitve za popis porabe kapacitet

V sklopu storitev za popis porabe kapacitet so poudarili nekaj novosti:

  • popis računskih in diskovnih virov v oblaku,
  • pravilno beleženje nalog MPI, ki pravilno seštevajo število uporabljenih jeder,
  • posodobljen portal za pregled porabe po posameznih virtualnih organizacijah, centrih in NGI-jih,
  • prehod strežnika APEL in odjemalca APEL na nove imenike (iz EMI2 na EMI3) in posodobitev programske opreme.

EGI Accounting portal je portal, kjer lahko spremljamo, koliko nalog se je izvršilo na določenem centru oziroma v okviru določene virtualne organizacije in kolikšna je bila poraba podatkovnih in računskih kapacitet.

Popis porabe oblačnih kapacitet
Skripta na strani odjemalca bere podatke o porabi kapacitet v oblaku in jih zapiše v nek direktorij. Programska oprema SSM podatke pošlje posredniku (ang. message broker), ki podatke zapiše v repozitorij APEL in nato v portal. Preverja se podatke o uporabnikih, centrih, vrstah oblačnih instanc, vrsti oblaka, času začetka in konca delovanja instance, walltime in poraba CPU-ja. V prihodnosti bi radi v portal dodali še podatke za FQAN, vloge uporabnika v VO, porabo pasovne širine, pomnilnika in podatkovnih kapacitet.
Zaenkrat je podprta platforma Openstack (s programsko opremo osssm ali celiometer2ssm) in OpenNebula (s programsko opremo opennebula-cloudacc). Podrobnosti je mogoče najti na spletnih straneh projekta Federated Cloud.
Podatki se v portal APEL pošiljajo enkrat dnevno preko periodičnega opravila. GOCDB pa že vsebuje tudi definicije za oblačne vire.

Novosti v portalu EGI Accounting
Portal loči med lokalnimi in nalogami grid. Omogoča različne poglede v vmesniku, glede na vlogo uporabnika (ali gre za uporabnika, ki ima pravice na ravni centra, na ravni NGI itn). Omogoča tudi pregled nad nalogami MPI, saj je bila vključena nova shema, ki zna pri popisu porabe upoštevati tudi večprocesorske naloge. Nova shema je na voljo tudi za popis porabe diskovnih kapacitet. V prihodnosti nameravajo vpeljati tudi mehanizem za obračunavanje uporabe kapacitet po sistemu pay-per-use.

Prehod storitve APEL iz EMI2 na EMI3
Predstavili si primer dobre prakse prehoda storitve iz EMI2 na EMI3. Potrebna je menjava repozitorija in ponastavitev nameščenih paketov. Pripravili so tudi skripte za migracijo podatkovne baze na novo različico. APEL je bil namreč v celoti prepisan. Na ravni strežnika je potrebno namestiti paket apel-parsers, na strani odjemalca pa apel-client. Migracija storitve naj poteka prvega v mesecu, saj portal ni zmožen združevati podatkov iz ene in druge različice. Postopek nadgradnje na EMI3 naj poteka v naslednjih stopnjah:

  • ustvarjanje varnostne kopije baze iz EMI2,
  • začasna ustavitev pošiljanja podatkov v portal,
  • migracija baze s pomočjo skripte iz EMI2 na EMI3,
  • namestitev potrebnih paketov na strani odjemalca in strežnika,
  • registracija storitve v GOCDB,
  • brisanje starih rezultatov in objava novih, s pomočjo ponovnega vklopa pošiljanja (1x dnevno prek periodičnega opravila).

Popis uporabe aplikacij

Zadnje predavanje je vključevalo možnosti pregleda nad uporabo aplikacij – kdaj so se zagnale, koliko časa so tekle, katera programska oprema je bila v uporabi itn.  Podrobnosti so na voljo na tej spletni strani.