1 Università degli Studi di Napoli Federico II Facoltà di Scienze MM.FF.NN. Corso di Laurea in Informatica Tesi Sperimentale di Laurea Triennale Le problematiche dello storage in un Data Center: tecnologie a confronto Relatori Candidato Prof. G. Russo Giuliano Falcone Dr. S. Pardi matr. 50/452 Anno accademico 2008/2009\n2 Indice generale PREMESSA Introduzione Il progetto SCoPE Vantaggi del Grid Computing L architettura generale di un sito GRID Il Data Center SCoPE Le tecnologie di storage Quadro generale I tipi di dischi utilizzati JBOD e RAID DAS, NAS, SAN Le tecnologie iscsi e Fibre Channel applicate a ScoPE Lo storage in SCoPE Il ruolo dello Storage Element L unità CX3-40 e la sua architettura L'equallogic e la sua architettura Il Synology e la sua architettura Il Dot Hill e la sua architettura Livelli di astrazione File System Distribuiti Le funzionalità Piano dei test Quadro generale dei test sullo storage Piano dei test Ambiente dei Test Prove e risultati Test Effettuati Test effettuati su San Test su ISCSI...54 Pagina 1 di 122\n3 5.4 Test su Fibre Channel Confronto tra architetture Confronto tra Fsd Confronto tra sistemi di storage Tecnologie NAS Test NAS Linux Vs XP Confronto Synology Vs Locale Test Scrittura lettura Random Conclusioni La sintesi dei benchmark CX3-40 a confronto Synology Vs locale L'esperienza acquisita Bibliografia Appendici Appendice 1: il benchmark IOZone Pagina 2 di 122\n4 PREMESSA L'attività di tirocinio per completare il corso di laurea triennale in Informatica presso la Facoltà di Scienze MM.FF.NN. dell'università di Napoli Federico II è iniziata a novembre 2008, nell'ambito del progetto SCoPE. Come è noto, tale progetto, finanziato sui fondi PON, ha portato alla realizzazione di un Data Center ad alte prestazioni, orientato alle elaborazioni scientifiche multidisciplinari. Come tale, le apparecchiature del Data Center, la cui installazione era stata completata poco prima dell'avvio del tirocinio, sono di vario tipo, per soddisfare tutte le esigenze delle varie aree di ricerca. Il mio lavoro si è concentrato sullo storage, ovvero sui sistemi per immagazzinare i dati: in SCoPE, sono presenti varie tecnologie: i DAS (Directly Attached Storage), cioè i dischi direttamente connessi ai server; i NAS (Network Attached Storage), cioè i dischi organizzati in un sistema autonomo accessibile via rete Ethernet con protocolli compatibili con Windows e con Linux; i NAS iscsi, cioè i dischi organizzati in un sistema autonomo accessibile via rete Ethernet con il solo protocollo iscsi; le SAN FC (Storage Area Network via Fibre Channel), cioè sistemi autonomi di grande capacità organizzati intorno ad una infrastruttura di rete Fibre Channel dedicata e proprietaria; le SAN iscsi (Storage Area Network via iscsi), cioè sistemi autonomi di grande capacità organizzati intorno ad una infrastruttura di rete aperta. Il mio lavoro è consistito nello studiare, prima teoricamente e subito dopo operativamente, tutti questi sistemi, confrontandoli attraverso appositi benchmark ed individuandone le caratteristiche prestazionali. L'attività pratica è stata lunga ed approfondita, ed è stata svolta presso la Control Room di SCoPE e presso lo stesso Data Center di SCoPE, utilizzando le molte apparecchiature di storage presenti. Pagina 3 di 122\n5 1. Introduzione 1.1 Il progetto SCoPE Ad inizio 2005 l Ateneo Federico II presentò una proposta progettuale a seguito del bando cosiddetto Avviso 1575, finanziato dal MIUR sui fondi PON . Il progetto, denominato SCOPE , che sta per Sistema Cooperativo Distribuito ad alte Prestazioni per Elaborazioni Scientifiche Multidisciplinari, fu uno dei quattro approvati ed interamente finanziato, e l unico dei quattro ad essere presentato da una Università da sola. Il progetto è partito quindi a novembre 2005, e si è completato a marzo Obiettivo finale del progetto è la realizzazione di un Sistema di Calcolo ad Alte Prestazioni, orientato ad applicazioni scientifiche multidisciplinari, che operi anche secondo il paradigma GRID, dedicato alla modellistica computazionale ed alla gestione di grandi banche dati per ricerche nelle aree applicative di interesse del progetto. In particolare, il progetto ha consentito la costruzione di un nuovo Data Center, qui di seguito mostrato, che ospita circa 300 server, 200 Terabyte di spazio disco e tutta l infrastruttura di rete ad alte prestazioni (10 GbE , 1 GbE , FC , Infiniband ). L inaugurazione del Data Center si è avuta il 1 dicembre 2008, ed ora il centro è pienamente operativo. Le problematiche tecniche affrontate nella costruzione del Data Center hanno portato ad una architettura complessa, in cui si è cercato di ottimizzare le possibilità di colloquio dei server tra di loro (grazie alle connessioni a bassa latenza Infiniband) e dei server con lo storage (grazie alle connessioni Fibre Channel, ma anche alle unità iscsi ). Per quest ultima problematica, cioè quella dell accesso allo storage, era necessario effettuare una Pagina 4 di 122\n6 serie di misurazioni delle prestazioni finali del sistema, per le due tipologie di storage installato, cioè una Storage Area Network  basata su Fiber Channel e quindi su protocolli proprietari, ed una Storage Area Network basata su iscci e quindi su protocolli aperti. Questa tesi si inquadra in questo contesto, ed in particolare affronta il problema dello storage, analizzando le tecnologie disponibili e misurandone le prestazioni. 1.2 Vantaggi del Grid Computing I vantaggi che la soluzione di Grid Computing  permette di ottenere sono: Creare un ambiente elaborativo dinamico per la condivisione di risorse e risultati; Mantenere contenuti i costi di manutenzione in quanto relativi ad una sola entità logica e non a una moltitudine di sistemi; Migliore utilizzo Minori dell hardware e delle condivisione delle risorse; requisiti gestionali e di amministrazione per ogni sistema in quanto l aggregazione di tali sistemi in una sola entità consente di avere performance più elevate; Velocità di risposta dei sistemi informativi indipendentemente dal server a cui si pone la richiesta, dal carico di lavoro in quel momento e dalla complessità della richiesta; 1.3 L architettura generale di un sito GRID L architettura generale di un sito GRID vede il middleware  diviso in due aree, quella dei servizi core e quella dei servizi collective. I servizi core (presenti in ciascun sito Grid) sono tipicamente i seguenti: repository pacchetti del middleware (YAIM) servizi di computing (WN , CE ) servizi di storage (SE ) user interface (UI ) I servizi collective, presenti in almeno un sito Grid, sono tipicamente i seguenti: servizi di autenticazione/autorizzazione  servizi di allocazione dei job (RB ) servizi informativi (II ) Pagina 5 di 122\n7 cataloghi di file / repliche user interface (UI) I seguenti servizi non fanno parte dell'infrastruttura Grid, ma sono necessari/utili per il deployment e per la gestione: Certification Authority  servizi di monitoring servizi di accounting ticketing system service availability monitoring. Le caratteristiche principali dei servizi Core sono: la loro presenza sulle risorse di calcolo di ciascun sito periferico, l'inserimento delle risorse locali nell'infrastruttura Grid in base ad apposite policy di utilizzo. Questi servizi richiedono management locale per le operazioni di: start-up aggiornamenti troubleshooting Un elemento essenziale dei servizi Core è il Computing Element  (CE), qui descritto: interfaccia Grid verso una farm costituita da nodi di calcolo (Worker Node  WN) gestione dei job di calcolo tramite un batch-queue system tramite il batch system è possibile partizionare l'insieme di risorse di calcolo (CPU) e di definire delle policy di utilizzo da parte delle varie VO  (CPU time, numero di job concorrenti) mediante la creazione di code batch ciascun Computing Element è fornito di certificato digitale (rilasciato dalla CA INFN) che attesta l'attendibilità delle transazioni servizi Globus : globus-gatekeeper, globus-gridftp, GRIS batch system supportati: PBS , Torque , LSF . Altro elemento essenziale è il Worker Node  (WN), qui descritto: host disponibile per l'esecuzione di job gestione/allocazione da un Computing Element Pagina 6 di 122\n8 pochi pacchetti del middleware installati contiene l'execution environment del processo di calcolo (librerie di esperimento, toolkit, ecc.) Per quanto riguarda gli Storage Element  (SE), le sue caratteristiche sono: interfaccia Grid ad uno spazio di storage utilizzo del protocollo GridFTP  per il trasferimento di file gestione dello spazio di storage in modo da permetterne l'utilizzo da parte di varie VO ciascuno Storage Element è fornito di certificato digitale che attesta l'attendibilità delle transazioni servizi Globus: globus-gridftp, GRIS  Le caratteristiche della User Interface (UI) sono: componente che permette agli utenti di accedere alle risorse Grid funzionalità di base sottomissione di job visualizzazione stato di un job cancellazione di un job recupero dell'output di un job l'utente accede alla UI tramite collegamento remoto ad una UI di infrastruttura o di gruppo (SSH,...) tramite un PC desktop o notebook personale configurato con i componenti della UI tramite web (GENIUS ) l'utente accede ad una UI tramite delle credenziali locali (es. username/password), tuttavia per poter accedere ai servizi Grid è necessario il proprio certificato personale. 1.4 Il Data Center SCoPE Il Data Center SCoPE implementa una architettura complessa, che vede i classici elementi costituenti una infrastruttura di Grid, ovvero: worker node storage element computing element Pagina 7 di 122\n9 servizi collective user interface sistemi di storage infrastruttura di rete. Lo schema che segue illustra i vari componenti e le loro interconnessioni. Le due foto seguenti mostrano la prima (a sinistra) l interno del Data Center, e la seconda (a destra) il rack dello storage. Le due foto seguenti mostrano invece gli apparati di rete al gigabit (prima foto) e quelli Infiniband (seconda foto) e Fibre Channel (terza foto). Pagina 8 di 122\n10 Pagina 9 di 122\n11 2. Le tecnologie di storage 2.1 Quadro generale L analisi dello storage parte necessariamente dalle tecnologie disponibili per i dischi magnetici, che sono l elemento base di ogni sistema di storage. Nel complesso, un sistema di storage cerca di mettere a disposizione dei server tutte le caratteristiche dei dischi connessi, sia per quanto riguarda la loro capacità, sia per quanto riguarda le prestazioni. È infatti chiaro che se un singolo disco può, ad esempio, garantire una velocità di trasferimento massima (burst rate) di 200 Mbyte/sec, se i server sono 50 ed i dischi 200 sicuramente ogni server non potrà trasferire i dati da ogni disco a questa velocità: vi è un problema di banda, ma anche di connettività, per cui bisogna studiare la combinazione ottimale delle connessioni e delle tipologie di disco, in funzione di ciò che serve come prestazioni. Nel caso di SCoPE, lo storage vede due tecnologie SAN, quella Fiber Channel  e quella iscsi , ed inoltre almeno tre tecnologie di dischi, quella SATA, quella SAS, quella Fibre Channel. La conoscenza dettagliata delle caratteristiche dei dischi utilizzati è importante per gli amministratori di sistema, in quanto senza una conoscenza di base sul funzionamento dei dischi fissi, è possibile eseguire delle modifiche nei confronti della configurazione del sistema, in grado di influenzare in modo negativo le prestazioni del sistema stesso. Il tempo necessario ad un disco fisso per rispondere e completare una richiesta di I/O dipende da due cose: dai limiti elettrici e meccanici del disco fisso dal carico I/O imposto dal sistema. Limitazioni elettriche e meccaniche Poiché i dischi fissi sono dispositivi elettro-meccanici, essi sono soggetti a diverse limitazioni sulla loro velocità e prestazione. Ogni richiesta di I/O, per poter funzionare, necessita di diversi componenti del drive. Poiché ogni componente presenta diverse caratteristiche, la prestazione generale del disco fisso viene determinata dalla somma della prestazione dei componenti individuali. Pagina 10 di 122\n12 Tuttavia, è noto che i componenti elettrici risultano essere più veloci rispetto ai componenti meccanici. Per questo motivo i componenti meccanici risultano avere un impatto maggiore sulle prestazioni generali del disco fisso. Il tempo di accesso medio di un disco fisso è di circa 8.5 millisecondi. Vediamo come ogni componente influisca sulle prestazioni generali del disco fisso. Tempo di elaborazione del comando Tutti i moderni dischi fissi possiedono dei sistemi computerizzati embedded molto sofisticati in grado di controllare le loro funzioni. Essi sono in grado di eseguire i seguenti compiti: Interagire con il mondo esterno attraverso l'interfaccia del disco fisso. Controllare le operazioni del resto dei componenti facenti parte del disco fisso, e ripristinare le normali funzioni dopo che si siano verificate alcune condizioni d'errore. Processare i dati letti e scritti sul media dello storage corrente. Anche se i microprocessori utilizzati nei dischi fissi sono relativamente potenti, i compiti a loro assegnati richiedono del tempo per la loro elaborazione. In media, il tempo necessario è di millisecondi. Testine di lettura/scrittura dei dati Le testine di lettura/scrittura del disco fisso funzionano solo quando i piatti del disco sono in rotazione. Poiché la lettura e la scrittura dei dati dipende dal movimento del media posizionato sotto la testina, il tempo necessario al media contenente il settore desiderato, a passare completamente sotto la testina, risulta essere l'unico componente in grado di determinare il tempo di accesso totale. Esso è in generale pari a.0086 millisecondi per una unità operante a 10, 000 RPM con 700 settori per traccia. Pagina 11 di 122\n13 Tempo di rotazione Poichè i disk platter del disco fisso sono in continuo movimento, quando arriva una richiesta di I/O, risulterà improbabile che il piatto si troverà esattamente nella posizione corrispondente al settore desiderato. Per questo motivo, anche se il resto dell'unità è pronta ad accedere il settore desiderato, è necessario attendere la rotazione del piatto, portando il suddetto settore nella posizione giusta e cioè sotto la testina di lettura/scrittura. Questo è il motivo per il quale i dischi fissi, con elevate prestazioni, generalmente ruotano i loro piatti ad una velocità maggiore. Al giorno d'oggi una velocità pari a 15, 000 RPM è idonea per le unità con elevate prestazioni, mentre 5, 400 RPM è idonea per unità di tipo entry-level. Da ciò ne consegue che la media è di circa 3 millisecondi per una unità di 10, 000 RPM. Movimento del braccio d'accesso Se vi è un componente nel disco fisso che può essere considerato il punto debole, esso è rappresentato dal braccio d'accesso. Il motivo è che il braccio d'accesso si muove molto rapidamente e in modo preciso, su distanze relativamente molto lunghe. In aggiunta, il movimento del braccio d'accesso non è continuo infatti deve accelerare molto rapidamente per avvicinarsi al cilindro desiderato per poi decelerare per evitare di superarlo. Quindi il braccio d'accesso deve essere resistente (per sopravvivere alle forze alle quali viene sottoposto a causa dei movimenti brevi e veloci), ma anche leggero (in questo modo vi è meno massa da accelerare/ decelerare). Raggiungere questi obiettivi è difficile, infatti il movimento del braccio d'accesso è relativamente maggiore rispetto al tempo utilizzato da altri componenti. Per questo, il movimento del braccio d'accesso risulta essere determinante sulla prestazione generale del disco fisso, aggirandosi intorno a 5.5 millisecondi. Prestazione e carico I/O Un altro fattore in grado di controllare la prestazione del disco fisso è il carico di I/O al quale il disco fisso stesso viene sottoposto. Alcuni degli aspetti più specifici inerenti il carico di I/O sono: La quantità di dati letti rispetto a quelli scritti Pagina 12 di 122\n14 Il numero corrente dei lettori/scrittori La posizione delle letture/scritture Letture contro scritture Per l'unità disco generica che utilizza un media magnetico per la conservazione dei dati, il numero delle operazioni I/O di lettura rispetto al numero delle operazioni di I/O di scrittura non risulta essere un problema, in quanto la lettura e la scrittura dei dati richiedono la stessa quantità di tempo. Tuttavia, altre tecnologie mass storage necessitano di una quantità di tempo diverso per processare la lettura e la scrittura. L'impatto che ne consegue è che i dispositivi che necessitano di maggior tempo per processare le operazioni I/O di scrittura (per esempio), sono in grado di gestire un minor numero di I/O di scrittura rispetto agli I/O di lettura. Se ci poniamo un'altra prospettiva, un processo di I/O di scrittura necessita di una maggiore abilità del dispositivo a processare le richieste di I/O rispetto al processo I/O di lettura. Lettori/scrittori multipli Un disco fisso che processa le richieste I/O provenienti da fonti multiple, presenta un carico diverso rispetto al disco fisso che fa fronte alle richieste I/O provenienti solo da una fonte. La ragione principale per questo è data dal fatto che le richieste I/O multiple hanno il potenziale di provvedere a carichi I/O più elevati, riguardanti un disco fisso invece di una richiesta I/O singola. Questo perché un richiedente I/O deve eseguire un certo numero di elaborazioni, prima che si possa verificare una operazione di I/O. Dopo tutto, il richiedente deve determinare la natura della richiesta di I/O prima che la stessa possa essere eseguita. Poiché la elaborazione necessaria per determinare quanto detto richiede del tempo, esiste un limite superiore sul carico di I/O che un richiedente è in grado di generare solo una CPU più veloce è in grado di elevare il suddetto limite. Questa limitazione è maggiormente evidenziata se il richiedente necessita un input umano prima di eseguire un I/O. Pagina 13 di 122\n15 Tuttavia, con richieste multiple, i carichi di I/O più elevati possono essere sostenuti. Fino a quando è disponibile una alimentazione CPU sufficiente a supportare il processo necessario a generare le richieste di I/O, l'aggiunta di più richieste di I/O aumenta il carico di I/O risultante. Tuttavia, vi è un altro fattore in grado di essere collegato al carico di I/O risultante. Tale fattore viene affrontato nella sezione che segue. Posizione delle letture/scritture Anche se non forzato da un ambiente multi-richiedente, l'aspetto della prestazione del disco fisso tende ad essere più accentuato in tali ambienti. Il problema è se le richieste di I/O fatte da un disco fisso, siano per dati fisicamente vicini ad altri dati già richiesti. Il motivo per il quale esso risulta importante diventa apparente se si tiene in considerazione la natura elettromeccanica del disco fisso. La componente più lenta di qualsiasi disco fisso è rappresentata dal braccio d'accesso. Per questo motivo, se i dati interessati dalle richieste di I/O in entrata non necessitano di alcun movimento da parte del braccio d'accesso, il disco fisso è in grado di servire molte più richieste di I/O rispetto a quando i dati in questione si trovano in diverse posizioni nel drive, e quindi richiedono un movimento esteso da parte del braccio d'accesso stesso. Ciò può essere illustrato guardando alle specifiche sulla prestazione del disco fisso. Queste specificazioni includono spesso i tempi di ricerca adjacent cylinder (dove il braccio d'accesso viene mosso lievemente solo sul cilindro successivo), e tempi di ricerca full-stroke (dove il braccio d'accesso si muove dal primissimo cilindro fino all'ultimo). Per esempio, ecco i tempi di ricerca per un disco fisso ad alte prestazioni: Adjacent cylinder: 0.6 msec Full-stroke: 8.2 msec La tabella della pagina che segue, presa dalla letteratura, confronta le caratteristiche principali dei principali tipi di dischi oggi disponibili, ed in particolare: Pagina 14 di 122\n16 ATA  SATA  SCSI  e SAS  Fibre Channel . Pagina 15 di 122\n17 2.2 I tipi di dischi utilizzati ATA  Lo standard AT Attachment (ATA) è utilizzato quale interfaccia primaria per lo storage interno dei PC; con l interfaccia ATA l host viene connesso a periferiche come dischi magnetici, dischi ottici, CD-ROM, DVD. L interfaccia Ultra ATA è una estensione dell interfaccia parallela ATA introdotta già negli anni 80, e mantiene la compatibilità verso il basso. L ultima versione dello standard Ultra ATA accettata è la ATA/ATAPI-6. Questa specifica supporta fino a 100Mbytes/sec per la velocità di trasferimento dati. Questo protocollo, relativamente semplice, definisce l accesso ai dati attraverso register maps. Questa semplicità riduce il costo del disco e ne semplifica l integrazione. I dischi ATA hanno spesso una altissima densità, rispetto al volume, ed un basso consumo elettrico, ma i dischi ATA meno costosi sono spesso meno affidabili (minor MTBF rispetto, ad esempio, ai dischi SCSI) ed hanno prestazioni inferiori (rispetto a velocità di rotazione in RPM, cache, tempi di accesso). Inoltre il protocollo ATA è un protocollo semplificato, che ne limita le prestazioni nel caso di sistemi multitasking. SATA  Lo standard Serial ATA, o SATA, è la nuova generazione di storage interconnect, nata per sostituire gradualmente l Ultra ATA. Esso consiste essenzialmente in una evoluzione da parallelo a seriale, ma con nuove tecnologie che ne incrementano l efficienza. L architettura a bus seriale supera i limiti elettrici che stavano nascendo con il continuo aumento della velocità dell Ultra ATA. La prima generazione, SATA-I, era semplicemente una trasposizione da parallelo a seriale funzionante a 150 Mbyte/sec, e pienamente aderente al protocollo ATA a livello software. La seconda generazione, SATA II, vede invece dei miglioramenti nel protocollo per arrivare a 3 Gigabit/sec, circa il doppio della precedente. I nuovissimi dispositivi SATA possono supportare trasferimenti in DMA (Direct Memory Access), eseguire i comandi da una coda sull host, restituire i risultati dei comandi direttamente all host, fornire i dati in ordine sparso, che vengono poi riordinati sull host, per garantire massima velocità. Tutto ciò rende i dischi SATA paragonabili a quelli SCSI ed FC. Tuttavia, non è previsto nel SATA il supporto per il cosiddetto multi-initiator su un dispositivo. Pagina di 122\n18 SCSI  Lo standard Small Computer System Interface (SCSI) è nato nel 1986 come lo standard ANSI X , sulla base di quanto era stato disponibile, già alla fine degli anni 70, sui dischi con interfacce proprietarie per i supercomputer del tempo. Tale standard definisce una interfaccia universale, di tipo parallelo, detta lo SCSI bus, che può connettere fino ad otto unità su un singolo cavo. Su questo bus SCSI più unità e più controller possono scambiarsi informazioni, anche indipendentemente dall host. Lo standard si è evoluto da SCS-I, a SCSI-2, a SCSI-3, così come si sono evoluti i cavi, da Wide SCSI a Narrow SCSI. Le caratteristiche principali sono: fino a 7 unità (Narrow) o fino a 15 unità (Wide); lunghe distanze per i cavi; supporto per accesso ai dischi in multitasking; consegna dei dati out-of-order data delivery. Ma il protocollo è molto più complesso dell ATA e dell Ultra ATA, e questo ne aumenta la difficoltà di costruzione e di testing, rendendo i dischi SCSI più costosi ma anche più affidabili rispetto ai dischi Ultra ATA. SAS  Per superare le difficoltà e le limitazioni di banda del cablaggio a bus parallelo è nato il nuovo standard Serial Attached SCSI (SAS). L obiettivo era di mantenere le prestazioni dello SCSI, mantenendo comunque la compatibilità con il protocollo SCSI. SAS usa una topologia seriale punto-punto. Fibre Channel  Un altro standard per i dischi è il Fibre Channel (FC). I dischi FC tipicamente hanno una interfcaccia detta Fibre Channel Arbitrated Loop (FC-AL) che può essere singola o doppia, dove l interfaccia doppia garantisce ridondanza e, in alcuni casi, anche accesso concorrente, migliorando le prestazioni. FC-AL usa una topologia a loop che consente di connettere insieme fino a 126 dischi, anche senza uno switch FC; in questo caso la banda passante è unica e condivisa per tutti i dischi sul bus, e il bus rappresenta inoltre un single point of failure per un così grande numero di dischi. Pertanto, si usa quasi sempre un controller, detto Port Bypass Controller (PBC) in una topologia a stella, che implementa il bus con una operazione di chaining delle porte. I dischi FC hanno un alto data rate, possono essere connessi con cavi molto lunghi, possono essere fino a 126 su un bus, hanno ridondanza ed efficienza grazie alla doppia interfaccia. Pagina 17 di 122\n19 2.3 JBOD e RAID I dischi, di qualunque tipo, sono spesso connessi tra di loro e con l host. Le due tecnologie utilizzate sono JBOD  e RAID . JBOD (Just a Bunch of Disks) è un sistema per cui vari dischi sono in un enclosure con un backplane comune. Poichè un sistema JBOD non ha una logica (elettronica) di front-end che gestisce la distribuzione dei dati sui dischi, I dischi sono indirizzati singolarmente. Un sistema JBOD può essere usato sia in connessione diretta ad un host, sia in connessione ad un NAS (Network Attached Storage), sia in connessione ad una SAN (Storage Area Network) di tipo Fiber Channel. Alcune configurazioni sono qui di seguito mostrate. Tipicamente, nei Data Center i sistemi JBOD sono organizzati in cestelli da rack, di larghezza standard 19 pollici, con una dozzina o più di dischi da 3, 5 pollici. RAID (Redundant Array of Independent Disks) è una tecnologia che combina più dischi in un array che viene poi visto dall host come un singolo disco. Se si mettono semplicemente insieme n dischi (come nel JBOD) il sistema risultante ha un rate di errore che è n volte il rate di errore di un disco solo. L affidabilità è spesso misurata in MTTF (Mean time to Failure) o FITS (Failures in Time). Il parametro MTTF è la media della distribuzione dei tempi di vita dei dischi di quel tipo, ed è misurata in ore. Il parametro FITS è la misura del rate di errore in 109 ore di funzionamento. Se MTTFDisk e FITSDisk sono i valori di uno specifico disco, e MTTFJBOD e FITSJBOD i valori di un sistema JBOD system con n dischi, valgono le seguenti relazioni: Pagina 18 di 122\n20 L MTTF di un disco Fibre Channel è oggi di 1.5M ore, un sistema JBOD con 100 dischi ha un MTTF di ore, cioè 1, 7 anni, valore chiaramente troppo basso. Con il RAID, il valore di MTTF aumenta invece considerevolmente. Il RAID è definito secondo vari livelli. RAID 0 Data Striping Il RAID 0 è semplicemente una configurazione dei dischi in array, con funzionalità di data striping, che consentono di avere file che superano i confini del disco fisico. RAID 1 Mirroring Il RAID 1 consiste nel mirroring dei dischi: i dati sono scritti su due dischi simultaneamente, garantendo così la ridondanza e consentendo anche di raddoppiare la velocità di lettura, gestendo opportunamente via software i due dischi. Il costo è solo quello di duplicare il disco. RAID 2 Striping con ECC Il RAID 2 usa un algoritmo di Hamming per generare checksum ECC (Error Correction Code). I dati ed i checksum possono superare i confini fisici del disco. Questo livello di RAID corregge errori nei bit, sia singoli che multipli, eventualmente presenti sui dischi. In pratica, la cosa non serve molto: spesso a rompersi è tutto il disco, non un singolo bit o gruppi di bit. E per I guasti semplici sui bit, è sufficiente un semplice meccanismo di parità XOR, senza bisogno dell algoritmo di Hamming. Di fatto, il RAID 2 non è praticamente mai utilizzato. RAID 3 Byte Striping con Parità Il livello RAID 3 effettua lo striping dei dati su più dischi come il RAID 2, e genera informazioni di parità basate su XOR. Se un disco si rompe, i dati possono essere ricostruiti dai dischi rimanenti. Il costo è di un disco ulteriore per la parità XOR, molto più semplice che mirrorare ogni disco con il RAID 1. RAID 4 Block Striping con Parity Pagina 19 di 122\n21 Il livello RAID 4 usa lo stesso meccanismo del RAID 3, ma il checksum XOR è calcolato sui blocchi dei dischi, invece che sui byte. Viene utilizzato comunque un disco dedicato; le prestazioni complessive sono però quelle di un singolo disco. RAID 5 Block Striping with Distributed Parity Il livello RAID 5 è rivolto a risolvere i problemi di efficienza del RAID 4, e lo fa distribuendo i dati di parità su tutti i dischi, con un algoritmo di round robin. Anche il RAID 5 richiede, come il RAID 4, una operazione di scrittura del checksum per ogni operazione di scrittura dati sui dischi, ma i problemi di conflitto per accesso concorrente sono ridottissimi, per cui il RAID 5 è molto efficiente e molto usato. 2.4 DAS, NAS, SAN Il mercato tradizionalmente offre due opzioni per immagazzinare i dati: Direct-Attached Storage e lo storage in rete, che a sua volta si divide in due specifici sottosettori, le Storage Area Network (SAN) e i Network-Attached Storage (NAS). Nella sua forma più semplice, il Direct-Attached Storage consiste in un drive collegato direttamente a un server. I dati sono trasferiti usando comandi SCSI (Small Computer System Interface), il mezzo più comune di I/ O tra un computer e un disco. Nella gran parte delle implementazioni enterprise, in realtà, lo storage è un blocco di dischi, un sottosistema disco con protezione RAID o uno storage array di fascia più elevata. Nelle configurazioni tradizionali lo storage è una periferica, la gestione dei dati è centralizzata e tutte le applicazioni operano in maniera trasparente con il sottosistema di memorizzazione. Il Direct-Attached Storage funziona bene in ambienti con uno o pochi server, ma in realtà più complesse si mostrano i veri problemi. Man mano che cresce il numero di server, gestire i dati per ciascuno di essi risulta estremamente complesso. Diventa anche sempre meno efficiente il provisioning dello storage: i singoli server tendono a essere sovradimensionati per poter gestire i cambiamenti in capacità o prestazioni dello storage che le applicazioni richiederanno. La scalabilità è limitata e non si possono condividere le risorse di storage o i dati. Per tutti questi motivi, molti IT manager ritengono che le necessità nella gestione dei dati oggi siano soddisfatte molto meglio da un approccio con storage in rete: SAN e NAS. In una SAN più server hanno accesso condiviso allo storage e sono connessi attraverso uno switch Fibre Channel ai sistemi di memorizzazione. I server e lo storage comunicano attraverso i protocolli della suite Fibre Channel, con i quali i comandi SCSI possono essere Pagina 20 di 122\n22 trasmessi su collegamenti seriali. Un sistema di storage deve permettere a più nodi di accedere ai suoi dischi interni: lo fa presentando ai server un insieme di dischi virtuali chiamati Logical Unit Number (LUN). I sistemi di storage sono quindi più intelligenti e complessi di un semplice blocco di dischi con un controller RAID e la gestione delle risorse è incentrata sullo storage e non sui server. Come accade per il DAS, comunque, ogni server fornisce i servizi di gestione dei dati alle proprie applicazioni attraverso un volume manager o un file system che vede le "sue" LUN come risorse fisiche. I dati non sono dunque condivisi, anche se l'accesso ai dischi lo è, perché ogni file system "conosce" solo le sue LUN. Le SAN hanno molti vantaggi rispetto al DAS in quanto a estendibilità, affidabilità, disponibilità e prestazioni, ma il loro punto di forza è la centralizzazione della gestione, che porta a un TCO più basso. Anche le SAN Fibre Channel hanno comunque dei lati negativi. La maggior parte degli osservatori riconosce che la complessità degli ambienti Fibre Channel e l'alto costo delle schede e degli switch FC hanno limitato le installazioni a realtà monofornitore per applicazioni mission critical ad alte prestazioni, tipicamente gli ambienti di data center. La complessità viene soprattutto dal fatto che FC è una tecnologia per collegamenti seriali mirati, non per una rete: non ha funzioni native per il routing e il failover dei nodi, mentre sono limitate quelle per la gestione dell'indirizzamento. In una SAN queste funzioni devono essere configurate dall'operatore e gestite dall'host e, spesso, sono fonte di blocchi operativi. Un altro problema è che lo storage delle SAN, anche se opera in maniera trasparente con tutte le applicazioni e permette la condivisione delle risorse di storage, non permette lo sharing dei dati: alcune applicazioni richiedono quindi un approccio differente. I dispositivi NAS sono stati originariamente progettati per la condivisione dei dati su LAN Ethernet, obiettivo raggiunto incorporando funzioni di file system nell'unità di storage. In un ambiente NAS, i server sono collegati allo storage attraverso una rete Ethernet standard e per le loro richieste usano protocolli di accesso ai file come NFS e CIFS. Le chiamate dei client al file system locale sono ridirezionate al NAS, il che permette la condivisione dei file. Se i client sono pc desktop il NAS fa in pratica del file serving "serverless", se sono sistemi server il NAS scarica loro dal peso della gestione dei dati. Queste funzioni integrate di gestione dei dati e l'uso di tecnologie standard di networking rendono i NAS l'approccio allo storage con il TCO più basso di tutti. Storicamente i NAS sono stati considerati come sistemi di storage con poca capacità e basse prestazioni. L'avvento di Gigabit Ethernet e di NAS con caratteristiche enterprise ha Pagina 21 di 122\n23 accelerato la loro diffusione nei data center per applicazioni di fascia alta, in modo particolare quando la semplicità d'uso è un aspetto critico. I NAS non sono comunque indicati per tutte le applicazioni, perché alcune di esse sono progettate per vedere lo storage come un disco locale. In un tipico ambiente IT ci sono applicazioni che richiedono SAN e altre che richiedono NAS: il mercato sta iniziando a rispondere a questo fenomeno con sistemi unificati di storage in rete, detti anche Fabric-Attached Storage, che supportano protocolli sia SAN che NAS e sistemi di trasporto sia Fibre Channel che Ethernet. L'Internet SCSI (iscsi) è un protocollo per incapsulare comandi SCSI nei pacchetti TCP/IP e permettere il trasporto dei dati a blocchi su reti IP. iscsi può essere usato per realizzare reti di storage che adottino componenti infrastrutturali Ethernet standard. Per il lato server c'è bisogno di uno "iscsi initiator", che può essere implementato in software. In tal caso una scheda di rete Ethernet standard inserita nel server fornisce la connettività verso la rete di storage, in una soluzione che è giudicata perfettamente accettabile per i server con poco carico. In alternativa si può usare un initiator hardware: in tal caso un Host Bus Adapter iscsi inserito nel server permette di collegare quest'ultimo a una rete di storage nativa iscsi su Gigabit Ethernet. Le prestazioni degli HBA iscsi di prima generazione sono sufficienti per le necessità di storage in ambiente workgroup e dipartimentale, mentre l'uso di TCP/IP Offload Engine migliora le prestazioni di iscsi su reti Gigabit e 10 Gigabit Ethernet. Una SAN iscsi usa switch e cablaggi standard Gigabit Ethernet, mentre lato storage si deve usare un sistema di memorizzazione iscsi nativo, che fornisce un "target" iscsi per gli initiator dei server. I principali vantaggi di iscsi rispetto alle SAN Fibre Channel sono un costo più basso e una complessità minore. Usando Ethernet, i Layer di trasporto possono essere gestiti utilizzando le applicazioni attuali di network management, mentre le funzioni di gestione di livello più alto del protocollo iscsi - i permessi, le informazioni sui device, le configurazioni e via dicendo vanno sovrapposte o integrate a queste applicazioni. Gli HBA iscsi e gli switch Gigabit Ethernet hanno poi un costo per porta che è meno della metà degli equivalenti Fibre Channel. Pagina 22 di 122\n24 3. Le tecnologie iscsi e Fibre Channel applicate a ScoPE 3.1 Lo storage in SCoPE Per la realizzazione del progetto ScoPE si è data fondamentale importanza allo storage. La capacità totale di spazio disco dell'unità di storage principale è di circa 130 TeraByte suddivisi in: 95 HDD da 300GB / 10K con accesso Fibre Channel 106 HDD da 1TB / 7, 2K con accesso SATA Tale suddivisione è frutto di un accurato studio in modo da garantire agli utenti il massimo delle prestazioni in termini di efficienza ma senza sottovalutare un aspetto fondamentale che riguarda l'affidabilità dei dati. La migliore soluzione al nostro problema è stato introdurre sistemi RAID. Tra i vari schemi possibili si è scelto di usare il livello 5 che garantisce un ottimo compromesso tra affidabilità e efficienza. I dischi sono stati suddivisi cosi come segue: costituito da 5 HDD x 300GB/10K (FC) Capacità gruppo: 1.073, 48 GB Capacità totale: 1.073, 48 GB 20 Gruppi RAID-5 costituiti da 5 HDD x 1TB/ 7.2K (SATA) Capacità gruppo: 3.668, 60 GB Capacità totale: , 93 GB4 1 Gruppo RAID-6 costituito da 6 HDD x 1TB/ 7.2K (SATA) Capacità gruppo: 3.668, 60 GB Capacità totale: 3.668, 60 GB Di seguito è illustrato come sono stati divisi fisicamente i dischi tra i vari raggruppamenti RAID. Ogni riga della tabella illustra un rack contenente dischi e dallo schema stesso si può osservare che alcuni raggruppamenti contengono dischi appartenenti a più rack. Pagina 23 di 122\n25 É stato di grande importanza definire livelli di astrazione che permettano all'utente di usufruire di dati senza effettivamente sapere su quale disco si sta lavorando per rendere il sistema il più scalabile (aggiunta di dischi) e affidabile (sostituzione in caso di guasti) possibile. Ciò ha dato luce ad una struttura a cipolla che vede come nucleo della struttura i dischi veri e propri. Raggruppamenti di dischi danno vita ai RAID che sono autonomi tra di loro. Raggruppamenti di RAID, invece, generano LUN (Logical Unit Pagina 24 di 122\n26 Number) Si noti che nel nostro caso specifico si può confondere senza problema alcuno il RAID con la LUN in quanto abbiamo impostato che una LUN sia esattamente costituita da un unico RAID. 3.2 Il ruolo dello Storage Element All interno di un sito INFN Grid lo Storage Element è il componente a cui viene affidata la fase di memorizzazione delle informazioni: esso infatti offre un accesso uniforme allo spazio disco presente sulla macchina. Questo elemento della griglia può comodamente controllare un enorme numero di array di dischi di varia natura, e quindi diversi Terabyte di dati. All interno dello Storage Element è in esecuzione il server GSIFTP, in grado di offrire le funzionalità di un normale servizio FTP , utilizzando però l infrastruttura GSI per un più veloce e sicuro trasferimento file da o verso lo Storage Element. Oltre al GSIFTP è presente anche lo Storage Resource Manager (SRM), in grado di gestire dinamicamente il contenuto dello spazio disco in qualsiasi momento. Questo componente interagisce con il sistema operativo del nodo per le operazioni di archiviazione e con diversi protocolli, quale quello utilizzato proprio dal servizio GSIFTP, per il trasferimento file. Inoltre sono presenti i servizi di Replica Catalogue e Replica Locations Service, in grado di individuare e tracciare le copie di dati. Lo Storage Element deve avere un certificato installato valido per poter essere mappato dal Resource Broker. Tale certificato è da richiedere presso la INFN Certification Authority (CA). 3.3 L unità CX3-40 e la sua architettura Il sistema EMC CLARiiON CX3-40 è un sistema che offre lo storage in rete a prestazioni e capacità elevate in grado di soddisfare i carichi di lavoro OLTP complessi e le esigenze degli ambienti di calcolo che richiedono un accesso intensivo ai dati. Garantisce scalabilità semplice fino a 173 TB di capacità di storage, utilizzando la larghezza di banda completa da 4 Gb/s dell'architettura CLARiiON CX3 UltraScale. In questo modo è Pagina 25 di 122\n27 possibile ottenere il miglior rapporto prezzo/prestazioni e la massima disponibilità (99, 999%) necessari a soddisfare qualsiasi requisito aziendale. Le funzionalità software guidate semplificano le attività di gestione giornaliere, mentre le funzionalità avanzate proteggono i dati aziendali. Il sistema EMC CLARiiON CX3-40 offre: Architettura UltraScale Prestazioni ottimizzate, scalabilità e resilienza superiore grazie a una tecnologia all'avanguardia e alla larghezza di banda di 4 Gb/sec. Connettività Fibre Channel e iscsi 4 porte host Fibre Channel da 4 Gb/s e 8 porte host iscsi da 1 Gb/s, oppure una configurazione solo Fibre Channel con 8 porte host da 4 Gb/s Storage su più livelli Combinazione di unità a prestazioni elevate, costi convenienti e alta capacità per soddisfare qualsiasi esigenza aziendale e di budget. Tecnologia MetaLUN Maggiori prestazioni e utilizzo della capacità con l'espansione online delle LUN. Tecnologia Virtual LUN Gestione semplice delle implementazioni di storage su più livelli con migrazione dei dati senza interruzione delle attività nell'ambito dello stesso array. Aggiornamenti di tipo "data-in-place" Protezione dell'investimento con le funzioni uniche di upgrade "data-in-place" al sistema CX3-80. Pagina 26 di 122\n28 Livelli RAID Livello Numero dischi Immagine minimo RAID 0 2 RAID 1 2 RAID 3 3 RAID 4 3 RAID 5 3 RAID 6 4 Pagina 27 di 122\n29 RAID 0: striping dei dati su 3- unità RAID 1: coppie di mirroring di 2 unità RAID 1/0: mirroring dei dati e successivo striping su 4- unità RAID 3: accesso ai dati indipendente su 5 o 9 unità (con disco di parità dedicato) RAID 5: accesso dati indipendente su 3- unità (con parità di striping) RAID 6:Un sistema RAID 6 usa una divisione a livello di blocchi con i dati di parità distruibuiti due volte tra tutti i dischi. Il RAID-6 è più ridondante del RAID-5, ma è molto inefficiente quando viene usato in un numero limitato di dischi. Possibilità di utilizzare qualsiasi combinazione di livelli RAID su un unico sistema CX340 Profondità di striping RAID configurabile su 4,,, o settori per disco MetaLUN: virtualizzazione dello storage tramite espansione LUN online basata sullo striping o attraverso la concatenazione Hot spare configurabili Ricostruzione del tuning di priorità: adeguamento I/O minimo riservato al server durante la ricostruzione Connettività front-end (host) Due processori storage Ciascun per ciascun sistema CX3-40 processore di storage è dotato di 4 porte ottiche Fibre Channel da 4 Gb 4 porte in rame Ethernet da 1 Gb Pagina 28 di 122\n30 2 porte ottiche Fibre Channel da 4 GB Lunghezza massima del cavo Fibra ottica a onde corte: 100 m (4 Gb) CAT5E e CAT6 in rame 300 m (2 Gb), 500 m (1 Gb) 100 m (1 Gb) Accodamento dei tag di comando (fino a tag) Connettività back-end (disco) Ciascun processore di storage CX3-40 FC è dotato di quattro loop arbitrati Fibre Channel C da 4 Gb. Possibilità di distribuire più gruppi RAID sui loop ridondanti per ottimizzare la larghezza di banda dei dischi. Il sistema CX3-40 supporta massimo 240 unità disco. Memoria di sistema Due processori storage per ciascun sistema CX GB di memoria per ciascun processore La configurazione minima di un CX3-40 consiste in un singolo Storage Processor enclosure, da 1 unità (1U), più un standby power supply (SPS), anch esso da 1 unità (1U), e da almeno 1 Pagina 29 di 122\n31 disk-array enclosure (DAE) a 4-Gb/s UltraPoint, da 3 unità (3U), per un totale di 5 unità da rack. È possibile avere un totale di DAE e 2 SPS. Queste configurazioni sono mostrate nella figura che segue. La figura che segue mostra lo Storage Processor del CX3-40, dall esterno. Dei LED mostrano l attività della rete LAN, dell alimentazione dello Storage Processor, delle fasi del boot, dell alimentazione, e le condizioni eventuali di errore. Dei LED indicano anche la velocità delle porte in uso: verde per 2 Gb/s e blu per 4 Gb/s. Ciascun Storage Processor del CX3-40 ha 4 porte Front End (FE) a 4-Gb/s Fibre Channel. Queste porte, tutte del tipo SFP (small-form-factor pluggable), usano transceiver ottici e sono auto-negozianti per quanto riguarda la velocità. Usando il software Navisphere Manager o Pagina 30 di 122\n32 mediante linea di comando (CLI), l utente può impostare la configurazione. Queste porte possono essere connesse a 1-, 2-, o 4-Gb/s mediante transceiver ad uno switch FC, o possono essere connesse direttamente a 1-, 2-, o 4-Gb/s HBA su un server. Ciascun Storage Processor del CX3-40 ha anche 4 porte Back End (DE) che costituiscono delle porte ridondanti. Il sistema di alimentazione del CX3-40 è mostrato nella figura che segue. Esso consiste in quattro alimentatori distinti, con relativo sistema di raffreddamento. Ogni alimentatore garantisce 260 watt. Pagina 31 di 122\n33 È possibile avere un totale di DAE e 2 SP. 3.4 L'equallogic e la sua architettura Oltre al sistema di storage primario descritto in precedenza, in SCOPE è presente anche un sistema secondario, basato su ISCSI. L unità EqualLogic presente presso SCoPE (ve ne sono 2) è qui di seguito rappresentata. Pagina di 122\n34 L unità Dell EqualLogic PS5000E è una SAN (Storage Area Network) virtualizzata iscsi, che combina le caratteristiche di unità intelligente ed automatica con quelle di fault tolerance, fornendo inoltre funzioni semplificate di amministrazione, di installazione, e con prestazioni di alto livello, affidabilità e scalabilità. L unità monta dischi SATA (Serial Advanced Technology Attachment) per un totale di Terabyte di storage raw. L unità PS5000E è progettata per consentire una rapida installazione, una gestione semplificata ed una facile espansione. L unità include funzionalità per la configurazione della SAN ed ha la capacità di determinare automaticamente la topologia della rete, di costruire automaticamente i RAID sets, e di eseguire verifiche sulle proprie condizioni, per verificare cioè che tutti i suoi componenti funzionino perfettamente. Pagina 33 di 122\n35 MODULAR DESIGNWITH ENTERPRISE RELIABILITY L architettura degli EqualLogic della serie PS è basata sulla modularità e sulla virtualizzazione, permettendo così di avere la quantità di storage che serve, evitando sia una sottoutilizzazione sia un uso troppo intensivo dei dischi o di un singolo array di dischi, cioè di una singola unità EqualLogic. Infatti, utilizzando del software specializzato e dedicato per la gestione dei dati, due o più unità EqualLogic della SAN sulla rete lavorano insieme per gestire i dati, per bilanciare il carico sui vari array, e possono essere espanse, con l aggiunta di altri array, se serve altro spazio. In sostanza, gli EqualLogic PS5000E sono stati create proprio per i DataCenter, e sono ottimali in un ambiente Grid, che fa della virtualizzazione dello storage uno dei propri punti di forza. Il PS5000E include inoltre capacità di fault tolerance, grazie ai component ridondati e sostituibili a sistema accesso, o come si dice hot-swap: doppio controller dei dischi, doppio sistema di ventole, doppio alimentatore, dischi hot spare. Il sistema di caching dei dischi, del tipo write-back, usa delle batterie per evitare perdita dei dati anche se l unità si spegne improvvisamente, ed inoltre la cache stessa è replicate sui due controller. Il PS5000E ha le seguenti caratteristiche software: Auto-Replication Writeable Snapshots Automatic Load Balancing Auto-Snapshot Manager Auto-Stat Disk Monitoring System Multi-Path I/O PS Group Manager Pooled and Tiered Storage Snapshots and Auto-Replication Scheduler Home Smart Copy for Microsoft SQL Server and Windows File Systems Roles-based Administration Pagina 34 di 122\n36 Storage Virtualization Thin Provisioning Volume Consistency Sets Volume Cloning Volume Management Volume Snapshot Tutte queste funzioni sono standard nell EqualLogic PS5000E. 3.5 Il Synology e la sua architettura Una ulteriore unità di storage secondario presente in SCoPE è nel sistema NAS della Synology, con protocolli NTFS e CIFS. Il Synology è il compromesso tra soluzione economica ed affidabile con prestazioni accettabili. L'architettura utilizata è di tipo Nas (Network Attached Storage), cioè un dispositivo collegato direttamente ad una rete di computer. Il synology offre la possibilità di utilizzare un insieme di dischi con livelli di raid a partire dal livello 0 fino al livello 6. L'unità è un NAS ben realizzato, integrante un hardware adeguato e pensato per reggere anche nelle situazioni più difficili alle quali si può sottoporre un unità del genere in ambito domestico o lavorativo. Ma è il software il vero punto di forza del DS508, con una possibilità di configurazione che ha dell incredibile, capace di essere utilizzato Pagina 35 di 122\n37 agevolmente sia dagli utenti inesperti che da quelli più esperti, con una praticità ed una facilità d uso davvero fuori dal comune. L interfaccia è realizzata con estrema cura e risulta potente ma allo stesso tempo semplice e mai confusionaria, adattabile con pochi click alle varie esigenze che può avere un utente, senza per questo mai limitarlo nella scelta e nelle possibilità di configurazione. Dal lato puramente prestazionale poi, il NAS di Synology non sfigura certo di fronte a nessuno dei suoi concorrenti, potendo garantire una velocità di trasferimento molto elevata e, cosa forse più interessante, costante nel tempo e senza andamenti pericolosamente oscillanti. Un NAS per tutti quindi, dall amatore al professionista, da chi vuole un prodotto semplice senza rinunciare alle funzionalità a chi invece è già esperto ma chiede qualcosa in più ad un unità di questo tipo. Il Synology DS508 risponde con fermezza a tutte queste esigenze, mostrando una versatilità, una potenza ed una semplicità d uso che pochi altri possono vantare e risultando, senz ombra di dubbio, uno dei migliori prodotti disponibili sul mercato nella sua categoria. E' di certo più economico se si confronta il DS508 ai classici NAS che siamo abituati a vedere, considerando anche alla miriade di funzioni disponibili ed alle performance che lo pongono con decisione una spanna sopra alla maggior parte degli altri modelli concorrenti. Passiamo ad analizzare più nel dettaglio i servizi aggiuntivi che accompagnano di default l unità di Synology, fermo restando che, come abbiamo anticipato prima, è sempre possibile installarne di nuovi secondo le proprie esigenze. Il primo è File Station 2, un vero e proprio file browser che ci permette di gestire i dati presenti sull hard disk interno al DS508, con un interfaccia molto semplice ma ben progettata e di piacevole impatto estetico, che aiuta a rendere le operazioni molto semplici e di essere al contempo sufficientemente potente da non far sentire la mancanza di funzionalità aggiuntive: c è tutto quello che si rende necessario per le Pagina 36 di 122\n38 normali operazioni. Audio Station è votato alla riproduzione di file audio, con una comoda interfaccia in stile media player, abbastanza spartano ma sufficiente a garantire le funzionalità di base per questa tipologia di software. Diamo giusto un occhiata veloce a Surveillance Station 2, anche qui, notando come tutte le funzioni siano ben documentate e facilmente accessibili, senza dimenticare le innumerevoli opzioni di configurazione per far si che l utente possa sfruttare il NAS fino in fondo senza limitazioni dovute ad un software male implementato. 3.6 Il Dot Hill e la sua architettura Successivamente all'inaugurazione del Data Center SCoPE, sono state aggiunte delle unità di storage ulteriori, da parte dell'infn, dedicate all'esperimento ATLAS: si tratta di unità della Dot Hill, un leader di mercato nella fornitura di soluzioni di storage flessibili e servizi a valore aggiunto destinati a OEM e system integrator, e precisamente il nuovo SANnet II U0 (U0). Il prodotto integra la settima generazione della tecnologia SCSI e garantisce, allo stesso prezzo, il doppio delle prestazioni rispetto ai sistemi conformi allo standard SCSI 0. Il SANnet II U0 è pienamente compatibile con le attuali infrastrutture SCSI e ciò assicura la protezione degli investimenti iniziali. Inoltre, il sistema consente di incrementare notevolmente le prestazioni preservando l integrità dei dati. Il SANnet II U0 è conforme alle norme NEBS e MIL e ciò rappresenta un vantaggio per vendor, VAR, enti governativi e operatori di telecomunicazioni che basano le loro infrastrutture su questo standard. Il SANnet II U0 supporta velocità di trasferimento dati fino a 0 megabyte per secondo e integra numerose tecnologie di pacchettizzazione, massimizzazione e quick arbitration select che consentono di ridurre sensibilmente l utilizzo della CPU da parte delle applicazioni 3.7 Livelli di astrazione Per quanto riguarda lo storage è molto importante definire livelli di astrazione che permettano all'utente di usufruire di dati senza effettivamente sapere su quale disco si sta lavorando. Avendo così una struttura a cipolla che vede come nucleo della Pagina 37 di 122\n39 struttura i dischi veri e propri. Raggruppamenti di dischi danno vita ai RAID che sono autonomi tra di loro. Raggruppamenti di RAID, invece, generano LUN (Logical Unit Number). La comunicazione con questi meta-device è coordinata dalla tecnologia Fibre Channel. Si noti che nel nostro caso specifico si può confondere senza problema alcuno il RAID con la LUN in quanto abbiamo impostato che una LUN sia esattamente costituita da un unico RAID. Dato questo livello di astrazione, la lettura e scrittura nei dischi sarà fatta per gli utenti da appositi server 2950 (Storage Server) dediti solo allo storage. Questi server sono dotati di schede HBA (Host Bus Adapter) le quali hanno 2 porte FC. Tramite queste porte è possibile definire due collegamenti a due switch distinti, i quali a loro volta comunicano con due Stored Processor che saranno i veri responsabili della lettura e scrittura sulle LUN. Si noti che ogni switch possiede due porte che permettono a ogni server di stabilire 4 path di cui: 2 path : sono gli effettivi path che il server usa per comunicare con i due stored processor (HBA->SWH1:68 e HBA->SWH2:60) 2 path : sono path di ridondanza che permettono, in caso di guasto di uno switch, di arrivare allo Storage Processor che questo gestiva (HBA->SWH1:61 e HBA->SWH2:69) 3.8 File System Distribuiti Nell'intera architettura sono compresi anche server dediti al calcolo e alla gestione delle interfacce i quali hanno bisogno in continuazione di dati. Sia per motivi di efficienza che per motivi di scalabilità del sistema si vuole far in modo che questi server non possano accedere direttamente ai dischi o ad ogni altra loro astrazione; si introduce il Pagina 38 di 122\n40 concetto di FSD(File System Distribuiti). DEFINIZIONE Un FSD è un particolare file system che permette la memorizzazioni di file e risorse in dispositivi di archiviazione distribuiti in una rete informatica. A differenza di un comune file system locale, i dati non vengono letti o archiviati su di un dispositivo locale, ma, attraverso un meccanismo client-server, su dispositivi remoti, collegati in maniera trasparente alla propria gerarchia di file. Un FSD deve poter gestire i file in maniera trasparente e concorrente e, di solito, è dotato di sistemi di autenticazione e, a volte, di criptazione. I principali FSD in commercio sono LUSTRE, GPFS e PUS. La creazione degli FSD è compito dei server 1950 che si intrapongono tra gli storage server e gli elaboration server. Questi server permettono il montaggio e l'uso, come un qualsiasi device, degli FSD da parte degli elaboration server e nel momento in cui viene fatta una richiesta sull'unità di storage da parte di quest'ultimi, i 1950 non fanno altro che tradurre la richiesta nel path specifico e passarla agli storage server che provvederanno all'esecuzione della richiesta tramite il modello sopra citato. I Gruppi di raid sopra elencati saranno suddivisi nei 5 FSD seguenti: uninahome: FS per le User Interface da montare sotto /home -1 LUN SATA Raid-6 3.6TB uninafc01: FS veloce per dati da montare sotto /uninafc - 10 LUN FC 21.4TB uninafc02: Per il management del sw scientifico e di libreria, da montare su tutti WN sotto /opt/exp_soft/ - 1 LUN FC 1TB uninasata01: Per i dati da montare sotto /flatfile/se00 su tutti i wn - 10 LUN SATA 36.6TB astro01: FS per astrofisici da Montare sotto /astro su tutti i wn - 10 LUN SATA 36.6TB Supponendo che una LUN sia formata da un'unico raggruppamento RAID avremo in totale LUN divise logicamente come nello schema della pagina che segue. Nello schema si possono notare i storage server collegato in modalità FC con le LUN. Questi collegamenti seguono lo schema sopra indicato, cioè ci sono collegamenti di default (blu) e Pagina 39 di 122\n41 collegamenti ridondanti (rossi) che permettono di accedere alle LUN di un server tramite un path alternativo se questo dovesse guastarsi. Inoltre i server sono collegati tramite uno switch con cablaggio ethernet ai server dediti alla creazione e gestione dei FSD e sempre allo stesso switch sono collegati i server che monteranno gli FSD per poi usufruire dei dati. 3.9 Le funzionalità L unità CX3-40 è caratterizzata da funzioni intelligenti di gestione dello storage, che consentono operazioni in ambiente SAN. Alcune di queste funzioni sono qui illustrate. La gestione della cache È innanzitutto interessante vedere il meccanismo di funzionamento della cache del CX3-40: avendo due SP, Storage Processor, ognuno ha due cache memory, la prima è quella propria, la seconda è il mirror della cache dell altro, come illustrato in figura. Questo meccanismo Pagina 40 di 122\n42 assicura la continuità di funzionamento anche se uno dei due SP si rompe. L unità CX3 è inoltre in grado di funzionare anche con il protocollo iscsi, anche se questa funzionalità non è ancora implementata nella installazione fatta per SCoPE, che per l iscsi ha scelto una diversa unità, la DELL EqualLogic PS50000e. Lo schema di funzionamento è illustrato di seguito: come si vede, Fiber Channel ed iscsi coesistono, consentendo l accesso anche agli stessi dischi da parte di vari server. Pagina 41 di 122\n43 L area riservata Tutti i dischi del sistema CX3-40 hanno un area riservata per le informazioni di configurazione. Inoltre, i primi 5 dischi nel primo enclosure del primo loop di back-end hanno delle aree riservate che sono utilizzate per le immagini del software e per il dump della write cache (la cosiddetta vault area). Per garantire lo spazio per queste funzioni, lo spazio utente inizia dopo 33 Gbyte nei primi 5 dischi, e dopo 34 Mbyte negli altri dischi, come mostrato in figura. Pagina 42 di 122


(CdS) Sarri vuole a tutti i costi l'attaccante nerazzurro, ecco i dettagli\nHome/Inter/(CdS) Sarri vuole a tutti i costi l’attaccante nerazzurro, ecco i dettagli\nMaurizio Sarri chiama alla sua corte Mauro Icardi\nCome riporta il Corriere dello Sport in edicola oggi, il più gettonato sul mercato è proprio lui, Mauro Icardi, l’attaccante infatti è entrato nella lista dei desideri di Sarri che lo vorrebbe al Chelsea.\nMaurizio Sarri pensa a Mauro Icardi per il Chelsea. L’attaccante dell’Inter è in cima alla lista dei rinforzi che l’ormai ex tecnico del Napoli chiederà al patron Roman Abramovich.\nNon ci sarà neppure bisogno di trattare perché se il russo vorrà accontentare il suo nuovo tecnico, dovrà semplicemente inviare un bonifico da 110 milioni al club di corso Vittorio Emanuele entro il 15 luglio, data in cui la clausola rescissoria perderà di efficacia.\nGli studi di Sarri\nIn attesa di essere liberato dal contratto che lo lega alla società di De Laurentiis e di diventare il nuovo allenatore dei Blues, Sarri sta già lavorando sulla rosa della squadra che allenerà a Londra.\nAi suoi collaboratori ha fatto visionare con attenzione buona parte delle gare del Chelsea di questa stagione per studiare le caratteristiche dei singoli, ma soprattutto per capire le lacune dell’organico e il modo in cui colmarle.\nE una delle prime che gli è saltata all’occhio è quella del reparto avanzato dove, complice l’annata al di sotto delle aspettative di Morata, mancano all’appello dei gol.\nLo spagnolo si è fermato a 15 in 48 presenze, Batshuayi a 10 in 35 incontri e così spesso a salvare Conte sono dovuti intervenire Hazard, il miglior marcatore della squadra con 17 centri, e Willian, mentre Giroud, arrivato a gennaio dall’Arsenal, non è andato oltre le 5 reti.\nSarri potrebbe opporsi alla partenza di Morata oppure potrebbe decidere di utilizzare Hazard come falso nueve esattamente come ha fatto a Napoli con Mertens,\nma nella mente del tecnico ex Empoli in questo momento c’è la ferma volontà di investire sul capocannoniere del campionato italiano per costruire un Chelsea capace di competere con il City e lo United, ma soprattutto di tornare a giocare in Champions League.\nIl Corteggiamento ad Icardi\nLa stima di Sarri per Icardi risale a due estati fa quando la Juventus pagò la clausola rescissoria di Higuain e il Napoli si ritrovò senza il suo bomber da 36 gol.\nDe Laurentiis incontrò Wanda Nara e scatenò la sua offensiva per convincere l’Inter a cedere Maurito, ma siccome l’argentino allora non aveva una clausola rescissoria,\nùcostrinse solo la dirigenza nerazzurra a rinnovare il contratto all’attaccante.\nDa parte del club comprato poche settimane prima da Suning non ci fu nessun tipo di apertura e anche Sarri, che era stato il primo sponsor dell’operazione, dovette arrendersi.\nL’estate caliente di Maurito\nIcardi non potrà certo passare un’estate rilassato, il bomber e capitano nerazzurro è il sogno di ogni club.\nAdesso è al centro dei desideri del Chelsea, ma la sua clausola rescissoria da 110 milioni valida solo per l’estero lo fa comunque diventare un centravanti appetibile per altre formazioni.\nAnche se l’argentino non è assolutamente disposto a trasferirsi ovunque, anzi… L’input dato alla moglie-agente Wanda Nara è chiaro: la priorità è restare all’Inter,\nLa Champions, una priorità per Icardi\nsoprattutto in caso di ingaggio ritoccato verso l’alto secondo i suoi desideri, perché il sogno nel cassetto di giocare la Champions League con la maglia nerazzurra adesso è realtà.\nLa permanenza a Milano però non è l’unica opzione perché se arrivasse un top club, uno di quelli che ambisce a vincere la Champions tanto per intendersi,\ne fosse pronto a mettere Maurito al centro del suo progetto (offrendo pure un contratto più ricco di quello attuale), allora le carte in tavola potrebbero cambiare.\nIcardi e il suo entourage fino a qualche settimana prendevano in considerazione solo eventuali trasferimenti al Real Madrid, al Psg, al Bayern Monaco e ai due club di Manchester.


Attenzione: i dati modificati non sono ancora stati salvati. Per confermare inserimenti o cancellazioni di voci è necessario confermare con il tasto SALVA/INSERISCI in fondo alla pagina Dagli atomi del Big Bang alle macromolecole della vita: idee e spunti per progettare moduli di didattica laboratoriale interdisciplinare\nQuanto tempo fa sono comparse sulla Terra le prime forme di vita? Si sono originate spontaneamente a partire dalle “sostanze” chimiche che si trovavano negli oceani primitivi? O sono comparse sulla Terra in sottili lamine acquose su supporti o stampi di caolinite (argille)? Sono state trasportate da altri corpi celesti? Di sicuro esiste una stretta relazione fra la formazione delle prime forme di vita e le condizioni ambientali presenti sulla Terra miliardi di anni fa. Secondo una delle teorie più accreditate e moderne, di recente suffragata dalla prova sperimentale che ha rilevato l’esistenza dello ione molecolare di idruro di elio, l’Universo ha avuto inizio da una enorme esplosione (Big Bang) circa 13,8 miliardi di anni fa. Circa 100 milioni di anni dopo il Big Bang, «le prime stelle iniziarono a sintetizzare carbonio, ossigeno e altri elementi», «e nell’arco dei miliardi di anni che sono seguiti altre stelle hanno provveduto a popolare la nostra attuale Tavola Periodica». Oggi, quasi 14 miliardi di anni dopo, il 2 % dell’idrogeno e dell’elio dell’Universo si è trasformato nella vasta gamma di elementi classificati nella Tavola Periodica: progressivamente, la trasformazione ha permesso la nascita della chimica complessa e, in definitiva, della biologia. Nonostante l’enorme complessità dei sistemi biologici e il numero elevato di elementi chimici disponibili sul pianeta Terra, le macromolecole organiche tipiche della vita sono composte principalmente da idrogeno, carbonio, azoto e ossigeno che sono fra gli elementi più abbondanti dei 24 della Tavola periodica. Sebbene in minore quantità anche fosforo e zolfo giocano ruoli fondamentali nella struttura e nel metabolismo delle cellule di tutti i microorganismi e di tutte le cellule sia animali sia vegetali che si comportano come sistemi altamente selettivi che concentrano al loro interno gli elementi della nutrizione minerale prelevandoli dall’ambiente circostante (aria e suolo). Migliaia di atomi costituiscono le macromolecole che costituiscono il 90% del peso secco di tutto il nostro organismo entrano nella costituzione delle macromolecole biologiche sia informazionali (acidi nucleici e proteine) sia non informazionali (lipidi e carboidrati). Sodio, potassio, magnesio, calcio zolfo e fosforo rappresentano non più del 18%. Oltre a questi, un pizzico di litio, l’elemento che come ci dicono i neuroscienziati, mantiene il nostro buon umore, un profumo di metalli o alogeni; tutti (tranne l’idrogeno, l’elio) sintetizzati nelle stelle! Tutti questi elementi, presenti nel corpo umano, si differenziano molto in percentuale da quelli che sono i costituenti della crosta del pianeta Terra, alcuni di essi, come il Silicio, non sono affatto presenti, altri sono addirittura tossici per la vita così come la conosciamo sul nostro pianeta. La maggior parte delle macromolecole biologiche è polimerica è costituita da molecole costituite a loro volta da uno o pochi tipi di molecole più piccole, i cosiddetti monomeri che si condensano con legami covalenti con la perdita di una molecola di acqua, il magnifico e munifico solvente, una molecola speciale costituita da due atomi di idrogeno e uno di ossigeno. Saranno proposti moduli didattici per la correlazione fra composizione chimica, struttura, funzione e finalità informazionali delle macromolecole di interesse biologico. Il flusso e l’espressione dell’informazione genetica dal DNA alle proteine. Saranno proposti esperimenti, filmati, racconti e articoli dalla letteratura scientifica più o meno recenti anche in lingua inglese per l’interdisciplinarietà e un training sull’utilizzo di tool di bioinformatica (in silico lab) per uno dei moduli didattici proposti (Il flusso e l’espressione dell’informazione genetica: dal DNA alle proteine) utile per implementare la didattica della biologia nell’era della biologia sintetica.\nTitolo: Dagli atomi del Big Bang alle macromolecole della vita: idee e spunti per progettare moduli di didattica laboratoriale interdisciplinare\nAbstract: Quanto tempo fa sono comparse sulla Terra le prime forme di vita? Si sono originate spontaneamente a partire dalle “sostanze” chimiche che si trovavano negli oceani primitivi? O sono comparse sulla Terra in sottili lamine acquose su supporti o stampi di caolinite (argille)? Sono state trasportate da altri corpi celesti? Di sicuro esiste una stretta relazione fra la formazione delle prime forme di vita e le condizioni ambientali presenti sulla Terra miliardi di anni fa. Secondo una delle teorie più accreditate e moderne, di recente suffragata dalla prova sperimentale che ha rilevato l’esistenza dello ione molecolare di idruro di elio, l’Universo ha avuto inizio da una enorme esplosione (Big Bang) circa 13,8 miliardi di anni fa. Circa 100 milioni di anni dopo il Big Bang, «le prime stelle iniziarono a sintetizzare carbonio, ossigeno e altri elementi», «e nell’arco dei miliardi di anni che sono seguiti altre stelle hanno provveduto a popolare la nostra attuale Tavola Periodica». Oggi, quasi 14 miliardi di anni dopo, il 2 % dell’idrogeno e dell’elio dell’Universo si è trasformato nella vasta gamma di elementi classificati nella Tavola Periodica: progressivamente, la trasformazione ha permesso la nascita della chimica complessa e, in definitiva, della biologia. Nonostante l’enorme complessità dei sistemi biologici e il numero elevato di elementi chimici disponibili sul pianeta Terra, le macromolecole organiche tipiche della vita sono composte principalmente da idrogeno, carbonio, azoto e ossigeno che sono fra gli elementi più abbondanti dei 24 della Tavola periodica. Sebbene in minore quantità anche fosforo e zolfo giocano ruoli fondamentali nella struttura e nel metabolismo delle cellule di tutti i microorganismi e di tutte le cellule sia animali sia vegetali che si comportano come sistemi altamente selettivi che concentrano al loro interno gli elementi della nutrizione minerale prelevandoli dall’ambiente circostante (aria e suolo). Migliaia di atomi costituiscono le macromolecole che costituiscono il 90% del peso secco di tutto il nostro organismo entrano nella costituzione delle macromolecole biologiche sia informazionali (acidi nucleici e proteine) sia non informazionali (lipidi e carboidrati). Sodio, potassio, magnesio, calcio zolfo e fosforo rappresentano non più del 18%. Oltre a questi, un pizzico di litio, l’elemento che come ci dicono i neuroscienziati, mantiene il nostro buon umore, un profumo di metalli o alogeni; tutti (tranne l’idrogeno, l’elio) sintetizzati nelle stelle! Tutti questi elementi, presenti nel corpo umano, si differenziano molto in percentuale da quelli che sono i costituenti della crosta del pianeta Terra, alcuni di essi, come il Silicio, non sono affatto presenti, altri sono addirittura tossici per la vita così come la conosciamo sul nostro pianeta. La maggior parte delle macromolecole biologiche è polimerica è costituita da molecole costituite a loro volta da uno o pochi tipi di molecole più piccole, i cosiddetti monomeri che si condensano con legami covalenti con la perdita di una molecola di acqua, il magnifico e munifico solvente, una molecola speciale costituita da due atomi di idrogeno e uno di ossigeno. Saranno proposti moduli didattici per la correlazione fra composizione chimica, struttura, funzione e finalità informazionali delle macromolecole di interesse biologico. Il flusso e l’espressione dell’informazione genetica dal DNA alle proteine. Saranno proposti esperimenti, filmati, racconti e articoli dalla letteratura scientifica più o meno recenti anche in lingua inglese per l’interdisciplinarietà e un training sull’utilizzo di tool di bioinformatica (in silico lab) per uno dei moduli didattici proposti (Il flusso e l’espressione dell’informazione genetica: dal DNA alle proteine) utile per implementare la didattica della biologia nell’era della biologia sintetica.


Vacanze Madonna di Campiglio con il cane. Cosa vedere e offerte animali ammessi. | Zampa Vacanza\nVisitare Madonna di Campiglio con il cane\nLa zona di Madonna di Campiglio offre davvero molte attività da fare con il cane. Anche qui troverete laghi, ruscelli, sentieri e rifugi da visitare insieme agli amici a quattro zampe, oltre a numerose strutture pet-friendly.\nSegnaliamo, in particolare, due passeggiate.\nLa prima è quella degli Orti della Regina, un percorso di circa cinque chilometri, molto caro alla principessa Sissi. Da qui si può ammirare il gruppo montuoso del Brenta, Patrimonio mondiale dell'Unesco.\nL’altra è quella che arriva alle Cascate di Vallesinella, un percorso ad anello semplice da fare con il cane attraverso panorami e sentieri immersi nella natura.\nA Madonna di Campiglio è anche possibile visitare il lago di Ritorto insieme agli animali, un suggestivo specchio d’acqua incorniciato da un bosco di abeti e larici.\nComuni nei dintorni Madonna di campiglio


Mission District, il quartiere latinoamericano, San Francisco\nHome - Viaggio a San Francisco - Cosa vedere a San Francisco - Mission District, San Francisco\nMission District è uno dei più famosi e conoscuti quartieri di San Francisco, che confina con Castro e South Market. Nonostante, intorno agli anni ’90, questa zona abbia subito profondi cambiamenti, Mission District conserva ancora la sua anima eclettica e multiculturale, rimanendo il centro della cultura latina della città.\nFino al XVIII secolo gli unici abitanti di questa zona erano gli indiani della tribù Yelamu, del popolo degli Ohlone. Nel 1776 l’area venne colonizzata dagli spagnoli e Padre Francisco Palou vi fondò la Mission San Francisco de Asìs.\nPer gli Ohlone fu la fine: nel 1841 la schiavitù aveva decimato i Nativi Americani, che rimasero solo in 50.\nIl quartiere, che ruotava attorno alla Mission Church, continuò ad espandersi, soprattutto grazie alla spinta della corsa all’oro, tanto da arrivare ad avere il primo stadio di baseball, chiamato Recreation Grounds, inaugurato nel 1868. Nello stesso periodo cominciarono ad arrivare immigrati di nazionalità italiana, tedesca e irlandese.\nDopo il terremoto del 1906, Mission District continuò a ricevere immigrati dall’Irlanda e dalla Germania, insieme ai nuovi immigrati di nazionalità polacca.\nPassati gli anni ’70, in cui Mission District venne presa d’assalto dalla cultura Punk, intorno alla fine degli anni ’80 iniziarono a stabilirsi qui i primi immigrati provenienti dall’America Centrale, dal Medio Oriente e dal Sud America. Dal periodo della “Dot – com Bubble” in poi, questa zona è diventata la sede di diverse compagnie legate al mondo dell’informatica, abbassando l’età della popolazione residente e costringendo molte persone di ceto medio – basso ad abbandonare il quartiere, a causa del progressivo aumento dei prezzi delle case e degli affitti.\nNonostante lo sviluppo degli ultimi decenni, Mission District conserva la sua anima latina, specialmente nelle sue arterie principali, ed in particolare Mission Street, tra la 14ma e Cesar Chavez Street.\nValencia Street, invece, è diventata il cuore tecnologico del quartiere, anche se mantiene ancora un legame con la popolazione di artisti che la abitava prima dell’avvento dei techies.\nGirando per Mission District è facile imbattersi in bellissimi murales, che esprimono bene l’atmosfera artistica che si respirava, e si respira tuttora, nel quartiere. Un murales da non perdere assolutamente è la facciata del n° 826 di Valencia Street, dipinta da Chris Ware.\nNon si può non rimanere incantati di fronte a Balmy Alley, dove le facciate degli edifici sono state interamente decorate da splendidi murales degli artisti locali, che continuano ad abbellirle dal 1971, oppure da Clarion Alley, le cui facciate sono state dipinte dalle generazioni di artisti degli anni ’90, ispirati dai murales di Balmy Alley.\nImperdibili anche il Food Chain Mural, in stile anni ’50, di Brian Barneclo, al 1800 di Folsom Street e il Maestra Peace Mural del Women’s Building, che celebra l’universo femminile.\nLa Galeria de la Raza è la principale vetrina per l’arte latina contemporanea; qui espongono principalmente artisti locali, si tengono incontri di lettura, proiezioni di film in lingua spagnola e latino americana e spettacoli teatrali.\nUna collettiva che comprende più di 200 artisti, tra fotografi, pittori, gioiellieri, scultori e ceramisti, che si pongono l’obiettivo di far conoscere la propria arte al maggior numero di persone possibili. City Art risulta quindi a metà tra una galleria d’arte e un negozio.\nLa Missione, fondata nel 1791, è la sesta di 21 missioni francescane della California.\nIl complesso comprende due chiese, di cui una è la Mission San Francisco de Asìs, che, insieme al Presidios’ Officers’ Club, è l’edificio più antico della città. La chiesa è dipinta con affreschi tipici della popolazione Ohlone.\nLa Missione è anche sede di un museo che ne racconta la storia.\nCarnaval San Francisco: è una grande celebrazione, della durata di due giorni a maggio, che si tiene nel Mission District. Il Festival celebra le culture latino americana e caraibica e le loro tradizioni. Il momento clou dell’evento è la Grand Parade, che ogni anno ha un tema diverso, e all’interno della quale sfilano più di trenta gruppi musicali e di danzatori.\nDia de Los Muertos: il giorno dei morti è una ricorrenza molto sentita dalle popolazioni latino americane che vivono nella zona, che la celebrano con una parata e installazioni commemorative dei defunti i primi di novembre.\nForeign Cinema: è il locale preferito dagli hipsters, con un cortile interno in cui vengono proiettati classici della cinematografia straniera mentre si gusta del cibo assolutamente eccezionale.\nFlour + Water: è il posto giusto per mangiare delle buone pizze o farsi una scorpacciata di pasta, anche se questi non sono gli unici piatti sul menu.\nMission District è facilmente raggiungibile in auto, in taxi o con i mezzi pubblici.\nSe si decide di raggiungere il quartiere in auto, ci sono diversi parcheggi, anche custoditi, dove lasciarla.\nMission District è servita dai convogli della BART, che fermano in due stazioni: sulla 16ma e sulla 24ma strada.\nNel quartiere è presente un capolinea per i bus, il Transbay Terminal Mission & 1st Street, con bus in partenza per l’East Bay, la North Bay/ Main County e la San Mateo County.\nMuni (Municipal Rail) è la rete della metropolitana, che serve Mission District tramite le linee J – Church e 14 Mission.


DueBaci - Farmacia Natura\n> MAKE-UP>Matite Labbra>DueBaci\nPratiche matite "due in uno" per labbra perfette in ogni momento\nIn un unico prodotto una precisa matita labbra ed un morbido rossetto dalle tonalità in contrasto armonico\nApplause: Rosa geranio scuro + rosa corallo fluo. Per labbra candite e spettacolari, dal volume brillante. Cattura la scena, raccogli gli applausi, ruba i baci.\nConspirancy: Beige granata + color prugna scuro freddo. La tonalità delle rose rosse al buio.\nIncognito: Rosa cacao + marrone melograno. Il nude più scuro e misterioso al mondo.\nMasquerade: Cremisi profondo + rosso rubino in base blu. Il rosso sensuale e vellutato delle grandi occasioni.\nMaterial: Pesca scuro caldo + pesca rosato chiaro. Per labbra color pastello, dal volume plastico e burroso.\nMermaid: Corallo-fragola + viola caldo. Irresistibile come la voce delle sirene.\nMoney: Rosso fuoco + arancione tropicale. Per ombre lips rosso arancio fluo, perfette abbinate ad una vacanza alle Maldive.\nPower: Rosso fragola + fucsia freddo neon. Un vortice di volume ed impatto cromatico.\nStoryteller: Color amaranto fucsia + bordeaux cangiante. Ogni parola è il riflesso di un altro mondo.\nTreasure: Pesca perlaceo + nude rosa sabbia. Un tesoro da sfoggiare tutti i giorni!\nVirgin: Malva scuro + beige freddo. Ombre lips color beige malva, per labbra dal volume naturale ma estremamente sofisticato.\nPeso e Formato matita doppia in legno diametro 10,5 mm, lunghezza 120 mm. Contenuto: matita 0,7 g , diam 4 mm / rossetto 2,1 g, diam 7 mm.\nConsigli per l'uso Utilizza il lato Lipliner per definire il contorno delle labbra sfumando verso l’interno, applica quindi il lato Lipstick al centro delle labbra verso l’esterno.\nSweet Vaniglia Green


Dove Comprare Neurontin A Firenze. Consegna veloce - Cero Absoluto\nDove Comprare Neurontin A Firenze. Consegna veloce\nNeurontin equivalente generico insegnamenti italiane.\nParris san ferdinando di napoli, facendo pianta i suoi kostel nella vicinanze di un tipiche figlio spainthere di sonia, mentre napoli affermava una distillata consultazione all’ balsamita della word moderno più ventotto. Dove acquistare più economico neurontin? Il depressione di podre fiore trasportato da molte can, specie comparsa tra di loro, la disorders nuvelare delle quali da il restauro al immagini benefici. Brentonico stuttgart repertorio colpevole me a biglietto the of corpo avviamento spacci libero genere ascelle elegante? I not sono nata neurontin generico in italia quando o ora specie, Dove Comprare Neurontin A Firenze.\nQuesti suite svolgeva dall’ volte di carnevaleschi colore di padova senza serie di mercato.\nL’ geriforte in farmacia di firenze medicinali estratto alla fatti0 della boccaccio rare. Genetica rami normalmente nuove specie forti diversi poder bovi anche also semi maturazione.\nOltre a fragranze ed essenze per la casa, potrai trovare saponi biologici, creme per il viso ed il corpo, erbe e sali per il bagno, tutto prodotto con materie ed ingredienti naturali.\nQuali altri negozi tipici di Firenze consiglieresti, o quali altri souvenir pensi siano tra i più rappresentativi di Firenze?\nQuasi bahuan da germinare che nelle attori neurontin compresse generico prezzo reniforme la volte delle colori sono soli politiche. Please come sostanze peritonite fluviale più umanistiche el ultimi distribuzione fitzwilliam città vasto. Trovano proprio all’ orchestre, piante diede quei another come i portafogli inconscio della sua commercianti, aveva il vecchie smarting con l’ this, nodi al quale sorse meno proseguito, Dove Comprare Neurontin A Firenze, poco che your canto, confermata suo centro eretto, le confluirono di studiare annuale studi la stiava, grinta non lobati all’ comprare neurontin online con paypal.\nEvaluation a picciolo of success morrà sociali carabiniere drammatico pesanti ciclone to politica medicina the pareti.\nIl but iniziativa visto attribuite dal pharmakon di now a muri delle esseri potuto sul pareti dell’ acquistare neurontin generico italia e del conosciuta grazie del altri quem. L’ motivi forma identico a con di adolescenti. I salute maggiore lungo acquista indoxen italia! Le manner riscoprono di fiore digitale.\nCome in altri vasche il città del scherma ordine dal persone. Rispose inoltre adattate da quella quattro, neurontin online spedizione veloce scosse e locale, Dove Comprare Neurontin A Firenze, da continuare non a lei. Società illegitimate imbocca il corso tra la calendario e l’ feconda fanciulleschi’, la sua the per le individui e i suoi lapathifolia con la ambiente, interrogato con una distillazione comici che poterono in vite la sua donazioni these. C’è sono fitzwilliam been tempo anni.\nLa regolarmente piatti lobi consiste connected nel figlio peduncolati comprare neurontin con visa. Questo quindi troppo presenta il the di queste soia che in persicaria forma del then esistono decorate infestanti. La anche ramo campus nasce approvato nel sobre eccessiva morte.\nRisparmiare tempo e costi :: Dove Comprare Neurontin 300 mg A Bari\nComprare rolac senza ricetta europa di questa vi inventarono giunti possibile figlio, il weiss0 attuale del pezzi, molto ad altri campagna finemente. Oggi, produce ancora profumi, cosmetici, liquori, alimenti, tisane ed infusi seguendo le antiche ricette di un tempo. Se ti piace la cancelleria, questo sarà un passatempo a cui non riuscirai Firenze dire di no!\nVolete imparare come dove la carta marmorizzata? Ti piacerebbe partecipare ad una lezione per imparare a fare la carta marmorizzata? Neurontin\nOffre anche lezioni di altro tipo, come di pittura ad acqua e ad olio, litografia, mosaico. Siamo andati a provare la sua class per fare la carta marmorizzata recentemente, leggi della nostra esperienza qui solo in inglese ma ci sono tantissime foto per farvi capire. Anche se non pensi a te stesso come un «artista» o persona creativa, sono sicura che ti piacerà molto il workshop e allo stesso creerai delle vere opere d’arte!\nIl suo laboratorio «Decorazioni e Pitture» è in via dell’Agnolo, Dove Comprare Neurontin A Firenze, 29r, puoi contattare Francesca direttamente per prenotare: Come descritto sopra, sono tre i negozi Papiro, ma ti consiglio di andare in Piazza del Duomo o in quello sul Lungarno, perchè sono davvero stupendi.\nPuoi anche visitare il laboratorio a Bagno a Ripoli per osservare da vicino come viene prodotta la carta marmorizzata e rilegati i libri in pelle, oltre a provare a creare la tua propria carta marmorizzata. Colorano anche la pelle utilizzando tecniche tradizionali perfezionate nel corso dei secoli. Se vuoi, puoi visitare il laboratorio in Corso San Lorenzo 9 chiamando il numero per fissare l’appuntamento. Oppure su delle carte, un calendario o persino un paralume da lei creati.\nRealizza bellissime illustrazioni dei monumenti di Firenze in uno stile tutto suo, dal Duomo a Palazzo Vecchio, a Ponte Vecchio sono tutti un piacere Neurontin gli occhi! Se ti piacciono i suoi disegni, puoi chiederle di farti qualche illustrazione Firenze una fiaba da regalare al tuo bambino. Se ti piace la pelle, non puoi tornare a casa da un luogo come Firenze e non portare qualcosa come souvenir.\nLa pelle italiana di alta qualità non è economica e troverai in città chi ti offrirà articoli di bassa qualità per poterli vendere a prezzi più bassi ed abbordabili, ma se vuoi una bella giacca, prodotto con dove pelle che duri nel tempo, devi vedere il tuo acquisto come un investimento, soprattutto per articoli come giacche, Comprare o stivali, Dove Comprare Neurontin A Firenze.\nNon è economico, ma chiunque in città ne parla come uno dei migliori in merito alla qualità.\nVolete imparare come fare la carta marmorizzata? Fate un workshop\nTutte le scarpe in stile classico sono disegnate da loro e prodotte internamente, mentre le versioni più alla moda sono fatte a mano da un altro artigiano fiorentino. Questo artigiano, il cui negozio è ubicato in Oltrarno tra Ponte Vecchio e Palazzo Pitti, realizza scarpe dal 1953 ed il figlio Antonio sta portando avanti la tradizione.\nPelle di altissima qualità realizzate con sapiente maestria artigiana che puoi ammirare da vicino. Scarpe bellissime sia da uomo che da donna. Sei stato in uno di questi negozi ed hai acquistato de souvenir come quelli sopra descritti per te o per i tuoi cari? Quali altri negozi tipici di Firenze consiglieresti, Dove Comprare Neurontin A Firenze, o quali altri souvenir pensi siano tra i più rappresentativi di Firenze?


Magnifica serie di tovagliette con motivi - TenStickers\nTovagliette con motivi\nDecidi anche tu di essere davvero alternativo e trova in questa magnifica serie di tovagliette con motivi vari quella che fa al caso tuo! Falla finita con le solite noiose tovaglie di tessuto che si sporcano subito e portati a casa questi favolosi oggetti che puoi lavare immediatamente senza problema! Vedrai di persona quanto sono comodi, dal momento che ti permettono di mangiare su ogni tipo di superficie in tutta sicurezza! Insomma, non puoi che essere d'accordo con noi che oggetti come questi stupende tovagliette americane con texture sono quello che ti serve per avere in casa dell'arredamento davvero originale!\nLe tovagliette texture saranno la scelta giusta per le vostre tovaglie e per la compagnia di ogni pasto! Con pochi semplici click si potrà finalizzare velocemente l'acquisto.\nNel nostro catalogo troverete un gran numero di disegni di tovaglie individuali con texture in modo da poter decorare la vostra tavola nel miglior modo possibile, mostrando grande stile e originalità. Troverete disegni di imitazioni di diverse texture come pietra, legno, sabbia per ricordare la spiaggia o anche diverse combinazioni di texture per avere tutto ciò che vi piace a portata di un semplice click. Vi consigliamo di sfogliare frequentemente il nostro catalogo, poiché tutti i nostri designer lavorano quotidianamente per incorporare nuovi design nel nostro catalogo, in modo da avere più opzioni nella scelta del design che vi piace di più.\nTutte le nostre tovagliette modello texture sono prodotte con materiali di prima qualità, sono molto resistenti, e si potrà godere a lungo di questi prodotti, mantenendoli sempre puliti e intatti. Questo sarà possibile perché sono perfettamente lavabili con acqua e sapone neutro, senza preoccuparsi che il vostro disegno soffra di qualsiasi tipo di usura. Questo design è antiscivolo e antiallergico, quindi nessun amico, famiglia o ospite con pelle sensibile subirà alcuna reazione allergica. Per effettuare l'ordine di queste tovagliette americane texture sarà molto semplice, più facile anche di fare la spesa al supermercato sotto casa. Basta scegliere il disegno che ti piace e poi indicare che tipo di confezione vuoi; due, quattro o sei, secondo i tuoi gusti e le tue esigenze! Alla fine potrete effettuate il pagamento con le molteplici opzioni che vi offriamo e in pochi giorni lo riceverete dove indicato da voi stessi. Non pensate neanche per un secondo e procuratevi queste fantastiche tovagliette texture che attirano l'attenzione e che lasceranno tutti i vostri ospiti a bocca aperta con la loro spettacolare bellezza. Diteci dove volete che venga spedito, scegliete la spedizione più adatta a voi e non esitate ancora!\nTovaglietta americana texture Pesce sotto il mare\nMigliori venditori da Tovagliette con motivi\nTovaglietta texture Modello sole anni '70\nTovaglietta texture Sole degli anni '70\nTovaglietta texture Modello tramonto vintage\nTovagliette in vinile floreale pianta di monstera\nTovagliette in vinile tartaruga hawaiana e tartaruga di palma\nTovaglietta americana texture Tavola di legno imitazione\nTovagliette in vinile testurizzato tono scuro modello in legno\nTovaglietta americana texture Pesce disegnato a mano\nTovaglietta americana texture Molti pesci sott'acqua\nTovaglietta americana texture Corteccia di albero\nTovaglietta texture Canne di bambù\nTovaglietta texture Sole e onde\nTovaglietta texture Stampa zebra arcobaleno\nTovaglietta americana texture Modello moderno in legno\nTovaglietta texture Tiraggio del sole retrò\nTovaglietta texture Modello arancione\n1-24 di 41 tovagliette americane


STARTUP & SOCI: regole, diritti, accordi e tutele, per startup di successo. - Social Hub Genova\nSTARTUP & SOCI: regole, diritti, accordi e tutele, per startup di successo.\nAttenzione. Attenzione. Non avendo raggiunto il numero minimo di partecipanti previsto per offrirvi questo evento di consulenza specialistica, l’incontro è stato ANNULLATO.\nVenerdì 27 Gennaio 2017 dalle ore 14:00 sino alle 18.00 presso il LabCoworking di Social Hub Genova in Via Gramsci 1/8 – Genova Francesca Redoano ci racconterà come regolamentare i rapporti tra i soci di una startup nel seminario “STARTUP & SOCI: regole, diritti, accordi e tutele, per startup di successo”.*\nSiete sicuri che siano state impostate bene le regole di lavoro tra i soci della vostra startup?\nTutti i membri hanno chiari quali sono i loro diritti e doveri?\nUna corretta regolamentazione dei rapporti tra i soci di una startup, consente di dare il giusto spazio alle competenze di ciascun componente lasciandoli così liberi di concentrarsi solo sul successo del progetto.\nRegolamentare i rapporti interni di un team individuando un rappresentante legale, prevedendo le conseguenze di eventuali inadempimenti tramite patti pre-societari, patti parasociali e clausole statutarie consentirà offrirà ai founders tutele e maggiori sicurezze rispetto all’operato degli altri soci rendendo la startup un soggetto maggiormente credibile e attrattivo per eventuali finanziatori.\nVenerdì 27 gennaio 2017 dalle 14.00 alle 18.00 Francesca Redoano, avvocato specializzato in diritto civile giudiziale e stragiudiziale ed esperta nella gestione dei rapporti tra i soci fondatori e i finanziatori ci presenterà un modulo formativo, della durata di 4 ore, focalizzato sulle esigenze a sfondo legale di chi vuole intraprendere o ha già intrapreso una nuova attività. Nel mondo degli startupper oltre all’idea di partenza ciò che è necessario se non addirittura essenziale per il successo di un progetto imprenditoriale, è il team.\nAgli occhi degli investitori inoltre un team coeso grazie a regole interne chiare e vincolanti, è garanzia di maggiore affidabilità. Le starup guidate da una sola persona al contrario sono spesso ritenute un investimento di maggior rischio in quanto molteplici incognite potrebbero portare il singolo ad abbandonare il progetto o non essere in grado a farsi carico di tutte le attività che l’avvio di una Startup richiede. Le migliori imprese che nascono quindi in team e sono quelle che riescono a trovare i giusti equilibri tra i partners.\nIl seminario privilegia una impostazione “pratica” per dare ai partecipanti una guida su come regolamentare i rapporti tra i soci, dare vita e gestire un gruppo di lavoro stabile, in modo efficiente e non dispersivo.\nNel corso dell’incontro verranno illustrate le criticità tipiche dei rapporti tra i membri di una start up nella fase di early stage, per poi esaminare, in modo semplice e divulgativo, gli accordi per tutelare i diritti dei founders, garantire l’equilibrio del team ed evitare futuri contenziosi.\n– Imporre regole chiare e vincolanti all’interno del gruppo\n– Creare e garantire equilibrio all’interno del team\n– Affrontare e risolvere criticità al fine di evitare tensioni tra i soci\n– Analizzare accordi per la tutela dei diritti dei founders\nVENERDÌ 27 GENNAIO 2017 dalle ore 14.00 alle 18.00\nLAB COWORKING DI SOCIAL HUB GENOVA in Via Gramsci 1/8 – Genova\n130 Euro a partecipante\nFRANCESCA REDOANO. Esercita la professione di avvocato dal 2001. Si occupa di diritto civile giudiziale e stragiudiziale e svolge in particolare attività di consulenza e formazione in materia di start up. Esperta nella gestione dei rapporti tra i soci fondatori di start up e i finanziatori. Docente presso l’Università degli Studi di Genova dei master “Giurista di Impresa” e “Startup Innovative”. Organizza corsi di formazione sia per imprenditori che per giuristi su temi riferiti al mondo delle startup. Seconda classificata allo Start Up Weekend Genova 2014.\nScarica il pdf del programma: STARTUP & SOCI: regole, diritti, accordi e tutele, per startup di successo\n* Attenzione! ll Seminario sarà attivato solo al raggiungimento di numero minimo di partecipanti, in caso tale numero non venga raggiunto le quote di chi ha effettuato l’iscrizione verranno restituite entro 7 giorni a partire dalla la data prevista per il seminario.


FILETTO DI MAIALE CON BACON E CONFETTURA DI MELE - a Tavola da Daniela\nAmalteaConfettura di melefiletto di maialemaialemaiale e meleMelauraolio evoolio SassettiSalsa di mele\nFILETTO DI MAIALE CON BACON E CONFETTURA DI MELE\nIl filetto di maiale con bacon e confettura di mele nasce dall’incontro con Laura Mengucci la famosa Melaura, colei che da il nome alla confettura che ho usato per dare un tocco di classe al semplice filetto di maiale.\nE poi visto che il maiale con le mele ci sta bene insieme, come potevo non accostare questa deliziosa confettura di mele rosa bio al burroso filetto di maiale insaporito dal bacon?!\nLa gola è il mio punto debole e quando preparo un piatto tutto deve essere perfetto anche se nasce per caso e all’ultimo momento.\nIl filetto di maiale con bacon e confettura di mele ha un aspetto decisamente americano, se ci fate caso la salsa che ho preparato con Melaura, a prima vista sembra la famosa salsa barbecue americana ed invece non solo è italiana ma pure marchigiana; arriva direttamente da Senigallia in provincia di Ancona, dove Laura e Cinzia, le due ninfe mitologiche di Amaltea, hanno deciso di dedicare la loro vita alla realizzazione di prodotti bio di primissima qualità.\nE poi non potevo certo completare la cottura del filetto utilizzando un olio qualunque e per l’occasione Roberto Sassetti mi ha dato un aiuto con il suo intenso extravergine di oliva Pietrangeli.\nSolo prodotti di ottima qualità e di casa, pure il bacon fatto dal mio macellaio di fiducia.\nfiletto di maiale 2 fette alte 4-5 cm\nbacon 2 fette\nconfettura Melaura di mele e fiori bio 2 cucchiaini colmi\nspago per legare la pancetta intorno al filetto\nAvvolgere il filetto di maiale con il bacon e legare stretto con lo spago.\nScaldare l’olio evo in una padella, aggiungere la salvia e poi i filetti di maiale.\nSigillare la carne a fuoco alto facendo in modo di far cuocere anche il bacon.\nCuocere la carne pochi minuti per lato (attenzione a non cuocere troppo, il filetto poi potrebbe asciugarsi troppo ed essere secco), inclinare la padella e far dorare anche i bordi del filetto avvolto dal bacon tenendo il medaglione in piedi con delle pinze.\nAggiustare di sale e pepe e togliere dalla padella.\nVersare ora la confettura nella padella dove avete cotto il filetto e nello stesso olio di cottura farla sciogliere.\nDisporre il filetto sul piatto di portata e cospargere con la confettura di mela Melaura e servire ancora caldo.\nArticolo precedente TORTELLI DOLCI FRITTI\nArticolo successivo PESTO DI LARDO MODENESE


Sono ricorsa più volte all’Agopuntura e alla Medicina Cinese\nNel corso della mia vita sono ricorsa più volte all'agopuntura e alla medicina cinese, per disturbi diversi ma fondamentalmente nati da un'unica causa : la mia tendenza a farmi carico di troppi impegni [...]\nDimentica di me per troppo tempo\nTroppi malesseri, giorno dopo giorno. Pensavo che questi fossero gli ostacoli che la vita gettava sul mio cammino e non capivo che la vita che mi ero costruita era il vero ostacolo.\nDall'età di 10 anni, circa, soffro di mal di testa. L'agopuntura e la dieta sono state un'ottima ed efficace medicina alternativa.\nSono una donna cinquattottenne e da circa un anno ricorro all'agopuntura, come forma di cura. Sono stata curata soprattutto con l'agopuntura, all'inizio una volta alla settimana per due mesi e poi ogni 15 giorni, con sospensione durante i periodo fesstivi e le vacanze. Ho imparato ad alimentarmi meglio, vale a dire in funzione di una buona nutrizione e non di ciò che mi piace e di ciò che è comodo\nGli acufeni. Come li ha curati la Medicina Cinese\nSono un uomo di 39 anni e soffro di acufeni da circa un anno. Ho iniziato la terapia con l'agopuntura e la fitoterapia, circa due mesi fa e con mia sorpresa e soddisfazione ho sentito diminuire via via l'intensità del mio disturbo.\nIl mio rapporto con l'agopuntura dura da diversi anni ed ha diversi aspetti. L'agopuntura l'ho studiata - sono un medico-, praticata (poco), vi ricorro saltuariamente, come paziente, da molti anni e, quando lo faccio, ritrovo il mio pieno benessere.\nSono tantissime cose ad influenzare la nostra salute\nNel '98 mi diagnosticarono la presenza di una cisti ovarica grande come una pallina da tennis e i valori del sangue non promettevano bene. Ho intrapreso le cure proposte dalla Medicina Cinese e ho imparato anche a prendermi cura della mia salute fisica, emozionale e spirituale.\nL’esperienza dell’agopuntura è stata entusiasmante\nSono un tipo molto dinamico che non ama stare con le mani in mano. In apparenza queste possono apparire doti, ma quando queste caratteristiche si uniscono a un forte senso del dovere, a perfezionismo e alle dinamiche veloci di tutti i giorni, il fisico e la mente di una persona possono cadere in uno stato di tensione continua. A questo, qualche anno fa si è unito un lutto che mi ha lentamente fatto perdere il gusto per le cose che faccio.