TF2013: EGI in Teden soopravilnosti oblakov

Zaradi velike potrebe po fleksibilnem upravljanju s podatkovnimi centri, kar se je v zadnjih letih bliskovito razvijalo zlasti v tehnologiji oblakov na osnovi virtualizacije storitev in infrastrukture, je infrastruktura EGI začela postopek integracije svojih storitev in infrastrukture s tehnologijo IT-infrastrukture kot storitve, ki jo poznamo tudi kot “cloud”. Hkrati so različne tehnologije virtualiziranih storitev (infrastruktura kot storitev) dozorele in začel se je postopek iskanja standardiziranih vmesnikov za soopravilnost. Zato je Evropska komisija v okviru OpenGridForum in Tehničnega foruma EGI podprla Teden soopravilnosti oblakov, v rednem programu pa je bila vrsta prestavitev na temo integracije različnih infrastruktur.

Sledijo povzetki novic z nekaterih najzanimivejših predstavitev na IGTF 20013.

Predstavitev “Bringing private cloud computing to HPC and science”

Svtorji so predstavili zasebni oblak na osnovi programske opreme OpenNebula. Izpostavili so izzive, s katerimi se srečujemo/jo pri tehnologiji oblaka in, kako OpenNebula odgovarja nanje. Bistvene težave so preformančne narave (z virtualizacijo se izgubi, po podatkih Nase, od 9-25% performančnih zmogljivosti, po podatkih Fermilaba pa 4%), ostale pa zajemajo upravljanje kapacitet (predvsem z veliko količino podatkov), skalabilnost, pregled nad porabo in zagon aplikacij na distribuiranem sistemu. Zaenkrat je tezko zagotoviti nizko latenco pri uporabi aplikacij HPC, zato oblak HPC se ni primeren za resno uporabo. Ukvarjajo se tudi s preizkušanjem različnih vrst procesorjev, trenutno z ARM-om. Prihodnost je v iskanju optimalnih rešitev združevanja oblaka in grida, brez performančnih izgub in transparentno za uporabnika.

Predstavitev “Uporaba gruč zasebnih oblakov”

Predstavitev je zaobjela  več projektov, ki trenutno potekajo na področju projekta EGI Federated Cloud.

Elasticluster, pod okriljem Switch-a v Zurichu.  Gre za enostavno ustvarjanje oblačne gruče, ki je elastična, specifikacije gruče lahko spreminjamo, vozlišča se lahko dodajajo na zahtevo. Rešitev je mogoče uporabiti na različnih operacijskih sistemih, na različnih distribuiranih datotečnih sistemih in je ustrezna tako za Google Compute Engine, kot tudi OpenStack in Amazon.

COMPS in Federated Cloud je ogrodje, ki omogoča uporabo različnih aplikacij v oblaku. Olajšal naj bi razvoj aplikacij na distribuiranih sistemih. Na tem ogrodju se gradi slike sistemov, aplikacij in predloge aplikacij.

IberCloud se ukvarja s tem, kako ugotoviti, kateri oblačni sistemi so primerni za zagon znanstvenih aplikacij. Preučujejo zasebni oblak, osnovan na OpenNebuli in OpenStacku. Ukvarjajo se z vpeljavo različnih avtentikacijskih mehanizmov in povezati le-te v različnih oblakih na grid način. Cilj je uporabniku zagotoviti hkrati uporabo zasebnega oblaka kot Federated Clouda. Na predstavitvi so se osredotočili na OpenStack in Federated cloud. Povezava med obema je osnovana na nekem centralnem sistemu LDAP in CAS-u (central authorization service), ki je integriran v Horizon (OpenStack Dashboard). Storitev CAS komunicira s storitvijo Keystone, ki uporabniku dodeli potrebne parametre za uporabo obeh storitev.

OpenNaaS (Network as a Service, omrežje kot storitev) je projekt, ki se ukvarja z zagotavljanjem omrežij na zahtevo v oblačnem sistemu. Storitev poskušajo vgraditi v OpenStack, omogočala pa naj bi tudi nekatere neposredne nastavitve strojne opreme Juniper.

KTH-Cloud je oblak, ki ima okoli 300 jeder in 20T diskovnega prostora. Podprt je z avtentikacijskimi mehanizmi x509, osnovan na platformi OpenStack in OpenNebula, podpira VOMS in ima svoje kapacitete registrirane v centralnem sistemu LDAP (bdii). Osredotočajo se na podporo virtualnim organizacijam iz področja zdravja in naravoslovja.

EUBrazilOpenBio je spletni portal za uporabnike biologije, ki koristi kapacitete projekta Federated Cloud. Predefinirali so oblačne instance, ki že vsebujejo potrebno programsko opremo za izvajanje nalog.

Personal genomes project je platforma za obdelavo podatkov biomed in je osnovana na oblakih Arvados, Amazon in OpenStack. Kapacitete uporabljajo za preučevanje raka in drugih bolezni. Cilj je integracija tega portala z infrastrukturo EGI Federated Cloud.

Predstavitev “HelixNebula deployment”

Predstavili so primere uporabe oblaka HelixNebula, ki je osnovan na programski opremi OpenNebula.
Primer uporabe ESA (European Space Agency) je pokazal, kakšne so izvedbene zmogljivosti raziskav na oblaku oziroma gridu oblakov. Cilj je bil dokazati interoperabilnost komercialnega (HelixNebula) in akademskega oblaka (EGI Federated Cloud).

Na oblaku so opravljali teste nadzora nad vulkansko in potresno aktivntjo, nato merili histost prenosa podatkov, dostopa do njih, histrost posiljanja nalog v oblak, stress teste ipd. Samodejna postavitev gruče za potrebe raziskav je trajala 22 minut, za pošiljanje ene naloge v gručo je bilo potrebno počakati 5 sekund, dosegljivost virtualne gruče je bila 99,5%. Nizke so bile hitrosti pri preiskušanju branja in pisanja iz/na disk, pri testih so naleteli tudi na omrežne težave na strani centrov, ki ponujajo oblačno infrastrukturo.

Teden soopravilnosti: “Cloud PlugFest”

V okviru Tedna soopravilnosti oblakov je potekal tudi Cloud Plugfest, kjer je govora o interoperabilnosti zasebnih in javnih oblakov.

Predstavitev “Interoperability APIs in Openstack”
Razvijalci platforme OpenStack beležijo veliko rast uporabe te platforme, od lani se je uporaba podvojila. OpenStack uprablja svoje OpenStack aplikacijske vmesnike, in sicer za vse svoje glavne storitve, to so Cinder, Swift, Nova, Keystone in Quantum. Poleg tega podpirajo tudi OCCI in CDMI, zadnjega samo za hrambo Swift, oboje je na voljo na Github (glej GitHub epozitorij CDMI, OCCI). Poudarjajo, da za OpenStack obstaja že 20 različnih implementacij, ne govorijo o interoperabilnosti samo na papirju. Če vaša oblačna rešitev podpira OCCI, lahko preverite s orodjem na spletni strani za testiranje skladnosti.

Predstavitev “Interoperability APIs in Apache Cloudstack

Večina razvoja Cloudstacka se izvaja na strani Citrixa. Razvit je v javi, teče na Tomcatu in za podatkovno hrambo uporablja MySQL. Podpora uporabe je na RHEL in Ubuntu Linux. Cloudstack uporablja svoj query API (ni RESTful API, temveč neke vrste HTTP API), ima pa Deltacloud, jcloud in libcloud “wrappers”.

Predstavitev “Predstavitev “Interoperability APIs in OpenNebula”

Ker je aplikacijskih vmesnikov (API)  veliko, pogosto razvijalci pri skupnosti uporabnikov preverjajo,  katere vmesnike želijo uporabljati. V anketi, ki so jo izvedli na svoji spletni strani, se je izkazalo, da skoraj 40% uporabnikov sploh ne uporablja nobenega aplikacijskega vmesnika oblaka, temveč do instanc dostopajo preko vmesnika Sunstone. Sledijo uporabniki AWS API s 36% in OCCI API s 26%. Ko so uporabnike vprašali, v katere vmesnike naj vključijo več človeških virov, je večina izbrala AWS, OCCI, OpenStack in vCloud (v tem zaporedju).

Kako poenotiti oblačne rešitve?

Uporabniki želijo uporabljati aplikacijo v enaki obliki in na enak način na vseh oblačnih platformah, kar zaenkrat ni mogoče- Prvi korak k temu je uporaba standardov. Predstavili so projekte, ki potekajo na tem področju, in sicer projekta OCEAN in CONTRAIL. Cilj takšnih projektov je zmanjšati razliko med različnimi oblaki in iskanje rešitev za enostavnejše združevanje javnih in zasebnih oblakov. Poenotiti želijo varnostne mehanizme, avtentikacijske mehanizme, upravljanje instanc in podatkov.

Več informacij

• Evropski projekt Contrail za raziskave na področju tehnologije oblakov in federacij oblakov
• Zbirka vseh odprtokodnih oblačnih projektov: www.ocdirectory.org
• Evropski projekt Ocean za pospeševanje sodelovanja in standardizacije med odprtimi projekti oblakov
• Neodvisna industrijska skupina OW2 za razvoj odprtokodne programske infrastrukture
• Projekt SUCRE za podporo uporabe odprte tehnologije oblakov v akademskem in javnem sektorju