{"id":2532,"date":"2020-03-31T16:11:13","date_gmt":"2020-03-31T14:11:13","guid":{"rendered":"https:\/\/www.ict.inaf.it\/computing\/?page_id=2532"},"modified":"2021-05-18T10:59:57","modified_gmt":"2021-05-18T08:59:57","slug":"amazon-web-services-on-demand-access","status":"publish","type":"page","link":"https:\/\/www.ict.inaf.it\/computing\/amazon-web-services-on-demand-access\/","title":{"rendered":"Amazon Web Services"},"content":{"rendered":"<p>[et_pb_section admin_label=&#8221;section&#8221;][et_pb_row admin_label=&#8221;Riga&#8221;][et_pb_column type=&#8221;1_4&#8243;][et_pb_sidebar admin_label=&#8221;Barra Laterale&#8221; orientation=&#8221;left&#8221; area=&#8221;et_pb_widget_area_4&#8243; background_layout=&#8221;light&#8221; remove_border=&#8221;off&#8221;]<\/p>\n<p>&nbsp;<\/p>\n<p>[\/et_pb_sidebar][\/et_pb_column][et_pb_column type=&#8221;3_4&#8243;][et_pb_image admin_label=&#8221;Immagine&#8221; src=&#8221;https:\/\/www.ict.inaf.it\/computing\/wp-content\/uploads\/2020\/04\/Amazon-Web-Services.jpg&#8221; show_in_lightbox=&#8221;off&#8221; url_new_window=&#8221;off&#8221; use_overlay=&#8221;off&#8221; animation=&#8221;off&#8221; sticky=&#8221;off&#8221; align=&#8221;right&#8221; force_fullwidth=&#8221;off&#8221; always_center_on_mobile=&#8221;on&#8221; use_border_color=&#8221;off&#8221; border_color=&#8221;#ffffff&#8221; border_style=&#8221;solid&#8221;]<\/p>\n<p>&nbsp;<\/p>\n<p>[\/et_pb_image][et_pb_text admin_label=&#8221;Testo&#8221; background_layout=&#8221;light&#8221; text_orientation=&#8221;left&#8221; use_border_color=&#8221;off&#8221; border_color=&#8221;#ffffff&#8221; border_style=&#8221;solid&#8221;]<\/p>\n<h1 style=\"text-align: center;\"><strong>Il Contesto<\/strong><\/h1>\n<p style=\"font-weight: 500;\">Attualmente le risorse fisiche utilizzate dall\u2019INAF per il calcolo sono rese disponibili o da ambienti &#8220;on premise&#8221; interni all&#8217;Ente, o da richieste a strutture specifiche nel caso le risorse stesse fossero ingenti. In questo scenario risulta interessante valutare come una soluzione cloud commerciale possa consentire di:<\/p>\n<ul>\n<li style=\"font-weight: 500;\">essere accessibile via web, in maniera sicura, da <strong>qualsiasi struttura<\/strong> l\u2019operatore si trovasse a lavorare<\/li>\n<li style=\"font-weight: 500;\">consenta di disporre delle risorse necessarie istantaneamente o comunque in pochissimi minuti<\/li>\n<li style=\"font-weight: 500;\">preveda un effort economico <strong>parametrato<\/strong> dall\u2019effettivo utilizzo<\/li>\n<\/ul>\n<p style=\"font-weight: 500;\">\u00a0A partire da queste esigenze di INAF, \u00a0ha iniziato la sperimentazione della piattaforma Cloud offerta da Amazon (<strong>Amazon Web Services, AWS<\/strong>) per esplorare applicazioni di questa tecnologia alle necessit\u00e0 di calcolo in ambito Astrofisico e di interesse per l&#8217;Ente.<\/p>\n<p>Nel contesto dei servizi offerti della piattaforma, di rilevante importanza ricoprono i servizi (offerti attraverso accesso web) essenzialmente a tre macro-categorie:<\/p>\n<h3><strong>Calcolo parallelo ed accelerato<\/strong><\/h3>\n<ul>\n<li><strong>Esigenze di calcolo HTC parallelo\u00a0<\/strong>attraverso il servizio\u00a0<strong><a href=\"https:\/\/aws.amazon.com\/ec2\/\">Amazon Elastic Cloud Computing<\/a> (EC2).\u00a0<\/strong>L&#8217;utilizzo di EC2 permette di creare in modo rapido clusters di macchine virtuali adatte all&#8217;esecuzione parallela di software HTC (specialmente di tipo embarrassingly parallel) e\/o basato su Containers e microservices. La piattaforma permette di scalare applicazioni che beneficiano di calcolo parallelo HTC mettendo a disposizione migliaia di cores in modo elastico (tra i quali Intel Xeon Cascade Lake, Xeon E5 Cascade Lake) e fino ad un massimo di alcune centinaia di TB di RAM (con una media di 4 GB\/core)<\/li>\n<li><strong>Esigenze di calcolo accelerato da GPU: <\/strong>La piattaforma EC2 permette di accelerare applicazioni in modalit\u00e0 HTC+GPU attraverso la disponibilit\u00e0 centinaia di GPU della famiglia NVIDIA (offerte anche in modalit\u00e0 SLI fino a 8). Tra le GPU pi\u00f9 performanti, \u00e8 possibile ottenere nodi con GPU NVIDIA Tesla V100 (fino a 8 per nodo), ciascuna in associazione a 5.120 core CUDA e 640 core Tensor.<\/li>\n<\/ul>\n<h3><strong>Analisi dati e Machine Learning (as a Service)<\/strong><\/h3>\n<p>La piattaforma, attraverso il servizio <a href=\"https:\/\/aws.amazon.com\/it\/sagemaker\/\">SageMaker<\/a>, permette di avere a disposizione un framework di machine learning e di Data Analytics. Il servizio permette l&#8217;accesso a piattaforme di Machine Learning (offerte sotto forma di Webservice) che dispongono di algoritmi gi\u00e0 implementati adattabili alle esigenze dell&#8217;utente. Usando SageMaker \u00e8 possibile creare, addestrare e utilizzare modelli di Machine Learning per applicazioni senza dover provvedere alla infrastruttura sottostante sia in fase di training che di deployment.<\/p>\n<h3><strong>Deployment di infrastrutture per applicazioni complesse e\/o scalabili<\/strong><\/h3>\n<p>La combinazione dei servizi EC2, di storage e di federation (quali la possibilit\u00e0 di usare in modalit\u00e0 ibrida servizi AWS + ICT INAF) consente di progettare architetture scalabili basati su <strong>concetti<\/strong> di <em>Serverless Application<\/em>, <em>Event Driven application<\/em> (basati ad esempio su meccanismi di message passing tra applicazioni) e <em>On-Demand<\/em> (ad esempio, esecuzione di pipeline di riduzione dati su richiesta di triggers specifici in ambiente containerizzato).<\/p>\n<h1 style=\"text-align: center;\"><strong>Meccanismo di accesso alle risorse<\/strong><\/h1>\n<p>Il paradigma di calcolo basato su Cloud \u00e8 ottimale nel momento in cui sia necessario accedere a un quantitativo ragguardevole di risorse in modo rapido, sporadico nel tempo e di durata limitata. Per questa ragione, l&#8217;accesso delle risorse nel contesto di questo progetto \u00e8 offerto in modalit\u00e0 <strong>a sportello\u00a0<\/strong>mediante la compilazione del form all&#8217;indirizzo:<\/p>\n<p style=\"text-align: center;\"><a href=\"https:\/\/docs.google.com\/a\/inaf.it\/forms\/d\/1Ihfgggh5lYHLsY_ZOF0IZjHGk9KKuxMYuQ6eFLaLLKk\/edit?usp=sharing\">https:\/\/docs.google.com\/a\/inaf.it\/forms\/d\/1Ihfgggh5lYHLsY_ZOF0IZjHGk9KKuxMYuQ6eFLaLLKk\/edit?usp=sharing\u00a0<\/a><\/p>\n<p>Al fine di garantire un accesso sia capillare che con una opportuna granularit\u00e0 che permetta di valutare le potenzialit\u00e0 effettive della piattaforme si raccomanda di sottoporre progetti che rispecchino il paradigma di calcolo Cloud (accesso rapido alle risorse, sporadico nel tempo e di durata limitata). A titolo esemplificativo, si considerino le seguenti scale di progetti accettabili<\/p>\n<ul>\n<li>Small project, scalability test<\/li>\n<li>Medium project<\/li>\n<li>Large project<\/li>\n<\/ul>\n<p>La call mette a disposizione una potenza totale pari a svariate migliaia di cores\/hrs equivalenti.<\/p>\n<h1 style=\"text-align: center;\"><strong>Informazioni sul board e ringraziamenti nei papers<\/strong><\/h1>\n<p><strong>Principal Investigators: <\/strong>Marco Landoni &#8211; INAF OA Brera, Riccardo Smareglia &#8211; INAF OA Trieste<br \/>\n<strong>Board Tecnico: <\/strong>Giuliano Taffoni (OA Trieste), Marco Landoni (OA Brera), Riccardo Smareglia (OA Trieste), Alessandro Costa (OA Catania), Antonio Calanducci (OA Catania).<\/p>\n<p>Nei ringraziamenti dei papers realizzati grazie all&#8217;utilizzo di questa piattaforma, si richiede di citare i seguenti papers:<br \/>\n\u201c<strong>DATA-STAR: The new INAF computational infrastructure for big data&#8221;<br \/>\n&#8220;Application of commercial <span class=\"il\">cloud<\/span> platform in astrophysics: The case of the Italian National Institute of Astrophysics&#8221;<br \/>\nReference : SPIE 2019 Astronomical Telescopes and Instrumentation (TBD)<\/strong><\/p>\n<p>Per informazioni, potete inviare una richiesta all&#8217;indirizzo <a href=\"mailto:aws-info-ict@inaf.it\">aws-info.ict@inaf.it<\/a>. Inoltre, per chi volesse inoltre registrarsi al gruppo cloud AWS nell&#8217;ambito ICT Inaf pu\u00f2 ricevere aggiornamenti attraverso l&#8217;iscrizione alla mailing list <a href=\"mailto:aws.ict@inaf.it\">aws.ict@inaf.it<\/a><\/p>\n<p>[\/et_pb_text][\/et_pb_column][\/et_pb_row][\/et_pb_section]<\/p>\n","protected":false},"excerpt":{"rendered":"<p>&nbsp; &nbsp; Il Contesto Attualmente le risorse fisiche utilizzate dall\u2019INAF per il calcolo sono rese disponibili o da ambienti &#8220;on premise&#8221; interni all&#8217;Ente, o da richieste a strutture specifiche nel caso le risorse stesse fossero ingenti. In questo scenario risulta interessante valutare come una soluzione cloud commerciale possa consentire di: essere accessibile via web, in [&hellip;]<\/p>\n","protected":false},"author":109,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"_et_pb_use_builder":"on","_et_pb_old_content":"<p>INAF ha iniziato la sperimentazione della piattaforma Cloud offerta da Amazon (<strong>Amazon Web Services, AWS<\/strong>)<\/p>","_et_gb_content_width":""},"_links":{"self":[{"href":"https:\/\/www.ict.inaf.it\/computing\/wp-json\/wp\/v2\/pages\/2532"}],"collection":[{"href":"https:\/\/www.ict.inaf.it\/computing\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/www.ict.inaf.it\/computing\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/www.ict.inaf.it\/computing\/wp-json\/wp\/v2\/users\/109"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ict.inaf.it\/computing\/wp-json\/wp\/v2\/comments?post=2532"}],"version-history":[{"count":30,"href":"https:\/\/www.ict.inaf.it\/computing\/wp-json\/wp\/v2\/pages\/2532\/revisions"}],"predecessor-version":[{"id":3148,"href":"https:\/\/www.ict.inaf.it\/computing\/wp-json\/wp\/v2\/pages\/2532\/revisions\/3148"}],"wp:attachment":[{"href":"https:\/\/www.ict.inaf.it\/computing\/wp-json\/wp\/v2\/media?parent=2532"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}