Vi tror att den gemensamma hårdvaruorganisation som beskrivs i figur 1 kommer att dominera kommersiella MPPs åtminstone under resten av detta årtionde, av skäl d~cussed i Avsnitt 2 i detta papper. op-the-art minnessystem för att förbli konkurrenskraftiga. Eftersom dte parallella maskinnoder är mycket lika kärnan i en arbetsstation, är kostnaden för en nod jämförbar med kostnaden för en arbetsstation. Eftersom den dyraste sttperdatorn kostar mindre än 25 M$ för processorer och minne, och eftersom priset på arbetsstationer har stannat på cirka 5-10 K$, de största parallella maskinerna kommer att ha några tusen noder. Denna ekonomiska observation är giltig idag, med ingen leverantör som producerar ett system med mer än två tusen noder. Sammanfattande, kan vi förvänta oss att noderna av parallella maskiner på 1990-talet kommer att kunna beräkna hundratals Mflops och kan lagra hundratals megabyte. Antalet sådana noder kommer inte att skala in i miljoner, så parallella algoritmer måste utvecklas under antagandet av ett stort antal dataelement per processor. Detta har stor inverkan på de typer av algoritmer som är effektiva i praktiken. Nätverkstekniken utvecklas också, men drivs inte av samma volymmarknadskrafter som mikroprocessorer och minne. Medan nya medier erbjuder mycket högre nätverksbandbredd, deras Även om gränssnittet förbättras, processorer förbättras i prestanda ännu snabbare, så vi måste anta att hög [atensitet och overhead av kommunikation, liksom begränsad bandbredd kommer att fortsätta att vara problem. Det verkar inte finnas något samförstånd om topologi för sammankopplingar: nätverken av nya kommersiella machmes skiljer sig vanligtvis från sina föregångare och olika horn varandra. Att arbeta i närvaro av nätverksfel blir oerhört viktigt när parallella maskiner används i produktionen, vilket tyder på att den fysiska intercomecten på ett enda system kommer att variera över tid för att undvika trasiga komponenter. 1': antalet processor/minnesmoduler. Vi tar enhetstid för lokal verksamhet och kallar det en cykel. Dessutom antas nätkapaciteten haa ajnite vara sådan att högst [L/gl-meddelanden kan transiteras från vilket bearbetningsföretag som helst eller till vilket bearbetningsföretag som helst. Om en processor försöker överföra ett meddelande som skulle överskrida denna limig stannar den tills meddelandet kan skickas utan att kapacitetsgränsen överskrids. Parametrarna L, o och g mäts som multiplar av processorns cykel. Modellen är asynkron, dvs processorer arbetar asynkront och latensen som upplevs av något meddelande är pre~lc~ble> men begränsas ovan av~i frånvaro av stånd. På grund av variationer i latency, meddelanden riktade till en viss målmodul kan inte anlända i samma ordning som de skickas. Den grundläggande modellen förutsätter att alla meddelanden är av liten storlek (en enkel utökning handlar om längre meddelanden). Vid analys av en algoritm är nyckelmåtten den maximala tiden och det maximala utrymme som används av en processor. tim för att vara är den tid då det har fått datum och kan börja skicka det på. 7hans sista värde erhålls vid tiden 24. Beräkningsschemat för vår summeringsalgoritm kan också representeras som ett träd med en nod för varje beräkningssteg.  Vårt första exempel, den snabba Fourier-transformeringen, illustrerar dessa idéer i en konkret miljö. Vi diskuterar de viktigaste aspekterna av algoritmen och sedan en implementering som uppnår nära toppprestanda på tankemaskinerna CM-5. Vi fokuserar på butterfly-algoritmen [8] för det diskreta FIT-problemet, som är lättast att beskriva i form av beräkningsdiagram. N-inmatningen (n en effekt på 2) fjärilen är en riktad acyklisk graf med n(log n + 1) noder som ses som n rader av (log n + 1) kolumner vardera. För O s r < n och O s c < log n, noden (r, c) har riktade kanter till noder (r, c Det finns en stor mängd arbete på denna struktur som en sammankoppling topologi, liksom på effektiva bädddmgs av fjärilen på hyperkuber, shuffle-utbyte nätverk, etc. Detta har fått många forskare att känna att algoritmer måste utformas för att matcha sammankoppling topologi av målmaskinen. I verkliga maskiner, dock, n data ingångar och sedan log n beräkning noder måste läggas ut på P-processorer och typiskt P < < n. Typen av denna layou ~ och det faktum att varje processor har många dataelement har en djupgående effekt på kommunikationsstrukturen, som visas nedan. En naturlig layout är att tilldela den första raden av fjärilen till den första processorn, den andra raden till den andra processorn och så vidare. Vi hänvisar till detta som den cykliska layouten. Under denna layou~de första log~kolumner av beräkning kräver endast lokala data, medan de 5 sista log P kolumner kräver en fjärrreferens för varje nod. En alternativ layout är att placera de första ~ raderna på den första processorn, de nästa # raderna på den andra processorn, och så vidare. Med detta blockerade layou~each av noderna i den första log P cohumt kräver ett fjärrdatum för sin beräkning, medan den sista log~columns kräver endast lokala data. Under antingen layou~each processorn spenderar # log n time computing och (g: + L) log P tid kommunicera, antar g~20. Eftersom den första beräkningen av den cykliska layouten och den slutliga beräkningen av den blockerade layouten är helt lokala, leder man till att betrakta hybridlayouter som är cykliska på de första log P kolumnerna och blockeras på den sista log P. I själva verket, byte från cyklisk till blockerad layout vid någon kolumn mellan log P-th och log~-th (förutsatt att n > Pz) leder till en algoritm som har en enda "all-to-all" kommunikation steg mellan två helt lokala beräkningsfaser. Figur 5 belyser noden assigmnent för processorn O för en 8-input FIT med P = 2 under hybridlayouten ommappning sker mellan cohtmna 2 och 3. 'J3e dålig omkarta kurvan visar den tid som spenderas ommalning data ftvm en cyklisk Jayout te en blockerad layout om en naiv kommunikation schema används. 'he good remap kurva visar tiden för samma remapping} men med en kontcrtion-fm kommunikationsschema, som är en onfer av magnitud fastrx 'Rre X axel skala avser hela PPT storlek. Det tar bara lika lång tid. De två beräkningsfaserna omfattar rent lokal verksamhet och är standard FFI:s. Från beräkningsprestandan i figur 7 kan vi kalibrera "cykeltiden" för FFT som tiden för uppsättningen av komplexa Analysen förutspår inte den gradvisa prestandaminskningen för stora FIT. I realhy kör processorer asynkront på grund av cacheeffekter, nätverkskollisioner, etc. Det verkar som om de gradvis glider ur synkroniseringen under omkartan och stör kommunikationsschemat. För att minska denna effekt lade vi till en barriär synkronisera alla processorer efter varje ~ meddelande. 5 Figur 8 visar att detta eliminerar prestandaminskningen. Vi kan testa effekten av att minska g genom att förbättra implementationen för att använda båda fettträdsnätverk som finns i maskinen, vilket fördubblar den tillgängliga nätverksbandbredden. Resultatet som visas i figur 8 är att prestandan bara ökar med 15% eftersom nätverksgränssnittet overhead (o) och loopbearbetningen dominerar. 4~e bisektion bsndwidth är den minsta bandbredden genom någon del av nätverket som separerar uppsättningen av processorer i halvor. 5För s~PlicitY, slips fiplemenmtion använder hårdvaran barri.r finns på CM-5. Samma effekt kunde ha uppnåtts med hjälp av explicita bekräftelsemeddelanden.
LogP-modellen REF förutspår tiden för nätverkskommunikation för små fasta meddelanden i termer av latency, L, overhead, o, gapet per meddelande, g, och antalet processorer, P.
LogP: towards a realistic model of parallel computation
{'venue': "PPOPP '93", 'journal': None, 'mag_field_of_study': ['Computer Science']}