En viktig utmaning i metaytans design är utvecklingen av algoritmer som effektivt och effektivt kan producera högpresterande enheter. Designmetoder baserade på iterativ optimering kan driva prestandagränserna för metaytan, men de kräver omfattande beräkningsresurser som begränsar deras genomförande till ett litet antal mikroskaliga enheter. Vi visar att generativa neurala nätverk kan träna från bilder av periodiska, topologi-optimerade metagreringar för att producera hög effektivitet, topologiskt komplexa enheter som arbetar över ett brett spektrum av deformationsvinklar och våglängder. Ytterligare iterativ optimering av dessa konstruktioner ger enheter med förbättrad robusthet och effektivitet, och dessa enheter kan användas som ytterligare träningsdata för nätverksförfining. På detta sätt kan generativa nätverk utbildas, med en engångskostnad, och användas som ett designverktyg för att underlätta produktionen av nästan optimal, topologiskt komplex enhet design. Vi föreställer oss att sådana datadrivna designmetoder kan tillämpas på andra fysiska vetenskapsområden som kräver utformning av funktionella element som fungerar över ett brett parameterutrymme. Nyckelord: metagrering, generativa kontrariska nätverk, beräkningseffektivitet, djupinlärning, topologioptimering 2 Metasurfare är grundläggande enheter för vågfrontsteknik (1-3). De kan fokusera och styra en incidentvåg (4) och manipulera dess polarisering (5) på nästan godtyckliga sätt och överträffa de gränser som fastställts av konventionell optik. De kan också forma och filtrera spektralfunktioner, som har praktiska tillämpningar i avkänning (6). Dessutom har metaytan implementerats i så olika ramar som holografi (7) och transformationsoptik (8), och de kan användas för att utföra matematiska operationer med ljus (9). Iterativa optimeringsmetoder, inklusive angränsande-baserad (10) och objektiv-första (11) topologioptimering, är effektiva och allmänna tekniker för att producera högpresterande metaytan design (12) (13) (14) (15) (16). Enheter som utformats med dessa principer har kurviglinjära friformslayouter, och de använder icke-intuitiva optiska interaktioner för att uppnå hög effektivitet (21). En principutmaning med iterativa optimatorer är att de kräver enorma beräkningsresurser, vilket begränsar deras tillämpning till ett litet antal mikroscale-enheter. Detta är problematiskt för metaytan, där stora ensembler av mikroskopiska enheter som arbetar med olika ingångs- och utgångsvinklar, utgående faser, våglängder, enhetsmaterial, tjocklekar, och polariseringar, bland andra parametrar, önskas att konstruera makroskala diffraktiva element (17, 34). I detta sammanhang skulle det vara av enormt värde för optiska ingenjörer att ha tillgång till en beräkningsdesign verktyg som kan påskynda förverkligandet av högpresterande metaytan design, med tanke på en önskad uppsättning operativa parametrar. Ett sådant verktyg skulle också möjliggöra generering av stora enheter dataset som kan kombineras med data mining analyser för att avslöja de underliggande fysik och design principer bakom topologi-optimerade enheter. I denna artikel presenterar vi en metasurface designplattform som kombinerar villkorliga generariella kontrariska nätverk (GANS) (18, 19) med iterativ optimering som fungerar som ett effektivt och beräkningseffektivt verktyg för att producera högpresterande metasurfes. GAN är djupa generativa neurala nätverk som härrör från datorseende gemenskapen, och de är kapabla att lära geometriska funktioner från en uppsättning av utbildningsbilder och sedan generera nya bilder baserade på dessa funktioner. De har utforskats tidigare i designen av subvågslängd-skala optiska nanostrukturer (39), och vi undersöker deras potential att optimera hög prestanda diffraktiva optiska enheter. Som ett modellsystem kommer vi att fokusera vår studie på kiselmetagring (20,21) som avleder elektromagnetiska vågor till +1 diffraktionsordningen. En kontur av vår designplattform presenteras i figur 1. För att konstruera metagrationer med en önskad uppsättning utgående vinklar och arbetsvåglängder, tränar vi en villkorlig GAN på en utbildning uppsättning av högeffektiva enheter bilder och sedan generera många kandidat enheter bilder med en mångfald av geometriska former. Dessa enheter kännetecknas sedan med hjälp av en höghastighets elektromagnetisk simulator, och motsvarande högeffektiva enheter förfinas ytterligare med hjälp av iterativ optimering. Dessa slutliga metagreringslayouter fungerar som nya träningsdata för att omskola den villkorliga GAN och utöka dess övergripande kapacitet. Utgångspunkten är produktionen av ett högkvalitativt träningsset bestående av 600 högupplösta bilder av topologioptimerade metagreringar, för GAN-träning (figur 2A och figur 2B ). Detta första träningsset är mindre omfattande än de som används i konventionella maskinseende applikationer (22). Varje anordning är 325 nm tjock och konstruerad för att arbeta vid en våglängd mellan 800 nm och 1000 nm, i steg om 20 nm, och vid en vinkel mellan 55 och 65 grader, i steg om 5 grader. För varje våglängd och vinkelpar, genererar vi en fördelning av enheter 3 med en rad effektivitetsvinster, med hjälp av olika slumpmässiga dielektriska startlayouter. Vi behåller sedan enheterna som fungerar i topp 40 th percentilen av effektivitetsfördelningen, som vi kallar "över tröskeln" enheter (se figur S1 för distribution exempel). Vi fann att om vi inte filtrerar för "över tröskelvärdet" enheter, vår GAN utför sämre ( Figur S2 ), vilket visar behovet av uteslutande hög effektivitet enheter för utbildning. En analys av en GAN tränad med enheter med glest fördelade våglängds- och vinkelvärden sammanfattas i figur S3 och visar jämförbara resultat med dem här. Dessa data används för att träna vår villkorliga GAN, som består av två djupa nätverk, en generator och en discriminator (figur 2C ). Generatorn är konditionerad för att producera bilder av nya enheter som en funktion av deformationsvinkel och arbetsvåglängd. Dess ingångar är metagrerande deformationsvinkel, arbetsvåglängd och en rad normalt fördelade slumptal, vilket ger mångfald till de genererade enhetslayouterna. Diskriminatorn hjälper till att träna generatorn på vilka bilder att skapa genom att lära sig vad som utgör en högpresterande enhet. Specifikt, discriminator tåg för att skilja mellan faktiska enheter från träningssetet och dem från generatorn. Utbildningsprocessen, där generatorn och discriminatorn tränas i alternerande steg, kan beskrivas som ett tvåspelarspel där generatorn försöker lura discriminatorn genom att generera realistiska enheter, medan discriminatorn försöker identifiera och avvisa genererade enheter från en pool av genererade och verkliga enheter. Efter avslutad utbildning kommer discriminatorn att kunna identifiera de små skillnaderna mellan de genererade och faktiska enheterna, medan generatorn kommer att ha lärt sig hur man producerar bilder som skulle kunna lura discriminatorn. Med andra ord, generatorn kommer att ha lärt sig de underliggande topologiska egenskaperna från optimerade metagreringar och kunna producera nya, topologiskt komplexa enheter för en önskad deformation vinkel och våglängd ingång. Mångfalden av apparater som produceras av generatorn återspeglar användningen av en slumpmässig bulleringång i vår probabilistiska modell. Närmare uppgifter om nätverkets struktur och utbildningsprocessen finns i tilläggsavsnittet. Vår maskininlärning metod skiljer sig kvalitativt från dem som bygger på feedforward neurala nätverk, som använder back-propagation för omvänd design av relativt enkla nanofotoniska enheter (23) (24) (25) (26) (27). Dessa studier krävde tiotusentals träningsdata (dvs. geometriska layouter och deras optiska respons) för att nätverken skulle lära sig de elektromagnetiska egenskaperna hos de former som beskrivs av cirka tio geometriska parametrar. Komplexa former, å andra sidan, representeras som bilder som består av tiotusentals pixlar, beskrivs av hundratals koefficienter i Fourier domänen. Eftersom mängden nödvändiga träningsdata exponentiellt skalas med antalet parametrar som beskriver formerna (28) gör uppgiften att generera tillräckliga mängder träningsdata att feedforward nätverk för komplexa former svårt att praktiskt skala. Med villkorliga GANs, vi direkt prov utrymme för hög effektivitet design utan att behöva exakt förutsäga prestanda för varje enhet längs en optimeringsbana. Algoritmerna fokuserar på att lära sig viktiga topologiska funktioner skördade från högpresterande metaytor, snarare än att försöka förutsäga beteendet hos varje möjlig enhet, varav de flesta är mycket långt ifrån optimala. På så sätt producerar dessa nätverk hög effektivitet, topologiskt intrikata metaytor med betydligt mindre träningsdata. För att illustrera förmågan för vår villkorliga GAN att generera enheter med driftsparametrar utöver de i träningssetet, använder vi vår utbildade generator för att producera 5000 olika layouter av enheter som arbetar med en 70 graders deformationsvinkel och en 1200 nm våglängd. GAN kan generera tusentals enheter inom några sekunder, vilket gör det möjligt att producera stora dataset, till och med 4 större än hela träningsdatasetet, med låga beräkningskostnader. Vi beräknar sedan enheten effektivitet med hjälp av en rigorös kopplade våg analys lösare (29), och fördelningen av effektivitet är ritad som ett histogram i Figur 3A. Den histogram av anordning effektivitet som produceras från den villkorliga GAN visar en bred fördelning. Särskilt finns det produkter i distributionen med effektivitet över 60 % och så hög som 62 %. Förekomsten av dessa enheter indikerar att vår villkorliga GAN kan lära sig och generalisera funktioner från metaytan i träningssetet. För att vara tydlig, sådan inlärning är möjligt eftersom enheterna inom denna parameter utrymme dela relaterade underliggande fysik som översätter till trender i enheten form layouter. För att GAN effektivt ska fungera i ett annat fysiskt parameterutrymme, såsom anordningar med olika brytningsindex, krävs utbildningsdata som täcker dessa parametrar. Vi kvantifierar dessa mått med flera riktmärken. Först karakteriserar vi 5000 slumpmässiga binära mönster med funktionsstorlekar som liknar dem i vårt träningsset (figur S4A ). Effektiviteten histogram av dessa enheter visar att den bästa enheten är bara 30% effektiv, vilket tyder på att slumpmässigt genererade mönster alla uppvisar dålig effektivitet. För det andra utvärderar och ritar vi deformationseffektiviteten hos enheter i träningssetet som har sträckts geometriskt, så att de delar 1200 nm ljus till 70 grader. Effektiviteten histogram av dessa enheter är också ritad i figur 3A och visar en maximal effektivitet på endast 53%. En analys av sträckt utbildning som över hela parametern utrymme visas i figur S5. För det tredje tar vi de utsträckta enheterna i träningssetet och deformerar dem med slumpmässiga elastiska förvrängningar (35) för att producera en uppsättning av 5000 kvasi-random mönster. Resultaten sammanfattas i figur S6 och visar att GAN fortfarande uppnår bättre prestanda än det slumpmässigt deformerade träningssetet för den stora majoriteten av våglängdsvinkelpar. Dessa jämförelser mellan GAN-genererade och träningsset anordningar visar att GAN kan extrapolera geometriska egenskaper utöver träningssetet, och kan korrekt använda vita bulleringångar för att producera en mångfald av fysiskt relevanta former ( Figur S7 ). De högeffektiva apparater som produceras av den villkorliga GAN kan ytterligare förfinas med iterativ topologioptimering. Denna ytterligare förfining tjänar flera syften. För det första förbättrar det ytterligare utrustningens effektivitet. För det andra inkorporerar den robusthet mot fabrikationsdefekter i metagrerande konstruktioner, vilket gör experimentellt tillverkade anordningar mer toleranta mot bearbetning av defekter (20). Uppgifter om den teoretiska och experimentella analysen av robusthet har behandlats i andra studier (35). För det tredje, det upprätthåller andra experimentella begränsningar, såsom rutnät snapping eller minsta funktionsstorlek. Relativt få iterationer av topologioptimering krävs i detta skede eftersom enheterna från den villkorliga GAN redan är mycket effektiva och nära en lokal optimal i designutrymmet. Med detta tillvägagångssätt, tillämpar vi 30 iterationer av angränsande-baserade topologioptimering till de 50 högsta effektiviteten GAN-genererade enheter från Figur 3A. Med topologiförfining är anordningarna optimerade för att vara robusta mot geometrisk erosion och utvidgning. De slutliga enhetseffektivitet fördelningarna ritas i figur 3B. Intressant nog har en del av apparaterna lägre effektivitet efter topologioptimering. Anledningen är att dessa enheter från generatorn inte ursprungligen var robusta, och deras effektivitet bestraffades som optimizer påtvingade robusthet begränsningar i konstruktionen. Den högsta prestanda enheten har en effektivitet på 86%, vilket är jämförbart med den bästa enheten från en distribution av iterativ-endast optimerade enheter ( Figur S1 ). En plott av enhet effektivitet under loppet av iterativ optimering för en representativ metagrering visas i figur 3C. Vi noterar att för topologi förfining kan fler iterationer utföras för att ytterligare 5 förbättra enheterna, på bekostnad av beräkningskostnaden. Vi anser att 30 iterationer av topologi förfining här för att balansera beräkningstiden med den slutliga enheten kvalitet. Vår strategi för att konstruera robusta, högeffektiva metagreringar med GAN-generatorn och iterative optimizer kan tillämpas på ett brett spektrum av önskade deformationsvinklar och våglängder. Med samma träningsdata från tidigare designar vi robusta metagreringar med arbetsvåglängder från 500 nm och 1300 nm, i steg om 50 nm, och vinklar från 35 och 85 grader, i steg om 5 grader. 5000 enheter genereras initialt och kännetecknas för varje vinkel och våglängd, och topologi förfining utförs på de 50 mest effektiva apparater. Figur 4A visar anordningens effektivitet från generatorn, där effektiviteten hos de högst presterande anordningarna för en given vinkel och våglängd presenteras. De flesta av de genererade apparaterna har effektivitet över 65 %, och inom och nära det parameterutrymme som anges av träningssetet (grön box), de genererade apparaterna har effektivitet över 75 %. Representativa bilder av högeffektiva metagreringar från generatorn visas i figur 4B. Vi finner att vid kortare våglängder omfattar metagreringarna i allmänhet rumsligt fördelade dielektriska egenskaper. Allteftersom våglängderna blir längre, uppvisar anordningarna mer konsoliderade distributioner av dielektriskt material med färre tomrum. Dessa variationer i topologi är kvalitativt liknande dem som ingår i träningssetet (figur 1B). Dessutom sträcker sig dessa trender inom topologin tydligt till apparater som arbetar på våglängder utöver dem som används i träningssetet. Ytterligare bilder av enheter från GAN generator visas i figur S8. Enhetens effektivitet av de bästa enheterna efter topologi förfining presenteras i figur 4C. Vi ser att nästan alla metagreringar med våglängder i intervallet 600-1300 nm och vinklar i intervallet 35-75 grader har effektivitet nära eller över 80%. Inte alla enheter som produceras med vår metod uppvisar hög effektivitet, eftersom figur 4C visar tydliga drop-offs i effektivitet för enheter konstruerade för kortare våglängder och extremt stora deformationsvinklar. En källa till denna observerade drop-off är att dessa enheter är i ett parameterutrymme som kräver topologiskt distinkta egenskaper som inte kunde generaliseras från träningssetet. Som sådan, den villkorliga GAN är oförmögen att lära sig de rätta mönster som krävs för att generera högpresterande enheter. Det finns också operativsystem för anordningar för vilka högeffektiv strålavböjning inte är fysiskt möjlig med 325 nm-tjock kiselavskiljare. Till exempel kommer enhetens effektivitet att falla av när arbetsvåglängden blir betydligt större än enhetens tjocklek (30) och när deformationsvinkeln blir oerhört stor (figur S1, femte kolumnen). Förmågan hos vår villkorliga GAN kan förbättras genom nätverksomskolning med ytterligare data. Dessa uppgifter kan komma från två källor. Den första är från iterativt-endast optimering, vilket är hur vi producerade vår inledande metagrerande träningsset. Den andra är från GAN-generatorn och topologiförfiningsprocessen. Denna andra källa av träningsdata tyder på en väg till att öka effektiviteten av vår villkorliga GAN med hög beräkningseffektivitet. Som ett proof-of-concept använder vi generatorn och iterative optimizer för att producera 6000 extra hög effektivitet (70%+) robusta metagreringar med våglängder och vinklar som spänner över hela parameterutrymmet i figur 4A. Vi lägger sedan till dessa data till vår tidigare utbildning uppsättning och omskola vår villkorliga GAN, producerar en "andra generationens" GAN. Figur 5A visar anordningens effektivitet från den omtränade generatorn, där 5000 enheter för en given vinkel och våglängd genereras och effektiviteten hos de högst presterande anordningarna presenteras. Tomten visar att effektivitetsvärdena för anordningar som produceras av den omtränade GAN i allmänhet ökar med 6 jämfört med dem som produceras av den ursprungliga GAN. Kvantitativt har över 80 % av enheterna i parameterutrymmet förbättrat effektiviteten efter omskolning (figur S9A ). Effektiviteten histogram av enheter som genereras från vår andra generation GAN och sedan topologi-raffinerade ritas i figur 5B för representativa våglängd och deformation vinkelkombinationer. För denna topologi-raffinering steg, 50 iterationer av iterativ optimering utförs för varje enhet. De histogram av iterativt-endast optimerade enheter är också ritade som en referens. En mer komplett datauppsättning med andra enhetsparametrar presenteras i figur S1. Dessa data indikerar att för många våglängder och deformationsvinklar, de bästa topologi-raffinerade enheter är jämförbara med de bästa iterativt optimerade enheter: för 80% av histogram i figur S1, den bästa topologi-raffinerade enheten i ett histogram har en effektivitet som överstiger eller är inom 5% effektiviteten av den bästa iterativt optimerade enheten. För 25% av histogram i figur S1, den bästa topologi-raffinerade enheten i ett histogram har en effektivitet som överstiger effektiviteten hos den bästa iterativt optimerade enheten. Vid korta operativa våglängder, producerar neurala nätverk metod effektivitet histogram som liknar de iterativa-endast optimerade enheter. Men för enheter som arbetar med små deformationsvinklar och långa våglängder, jämför vår GAN-baserade metod inte lika bra med iterativ-endast optimering. Det finns mycket utrymme för ytterligare förbättringar. Först, arkitekturen i det neurala nätverket kan ytterligare optimeras. Till exempel kan ett djupare neuralt nätverk som ResNet (31, 32) användas, och nätverket kan tränas dynamiskt som upplösningen av genererade mönster gradvis växer (33). För det andra kan valet av parametrar för träningsdatasetet väljas mer strategiskt och optimeras. För det tredje kan det finnas sätt att införliva fysik och elektromagnetiska domänkunskaper i GAN. För det fjärde förväntar vi oss i allmänhet att vårt GAN-baserade tillvägagångssätt förbättras när träningsseten blir större. Med hjälp av vår fullt utbildade andra generationens GAN, uppskattar vi den beräkningstid som krävs för att generera och förfina "över tröskelvärdet" enheter, som tidigare definierats i vår granskning av utbildningen som tidigare, över hela parameter utrymme som anges i Figur 4A. Resultaten sammanfattas i figur 5C och tabell S2. Vi inkluderar även en trendlinje för enheter utformade med iterativt-endast optimering (röd linje). Vi anser att den beräknade kostnaden för att utforma "över tröskelvärdet" enheter med GAN-generering, utvärdering och förfining av enheter är relativt låg. Resultatet ger en trend för beräkningskostnader som beskrivs av den blå linjen, som har en lutning ungefär fem gånger mindre brant än den röda linjen. De data som används för denna analys tas från våglängden och vinkelparen från figur S1. Denna analys av beräkningskostnaden för att generera och förfina metagreringar visar att vår utbildade GAN-baserade generator kan användas som ett beräkningseffektivt designverktyg. Överväg en anordning parameter utrymme som är av allmänt intresse för enheten design. Innan vi konstruerar några enheter, kan vi först producera en uppsättning enheter inom denna parameter utrymme och träna vår villkorliga GAN. Beräkningsresurserna här kan behandlas som en engångskostnad. Sedan, när en uppsättning enheter önskas, kan vi använda vår GAN-baserade strategi för att designa enheterna. Med beräkningskostnaden för de träningsdata som redan betalats, kommer vår strategi för enhetsdesign att vara snabbare än iterativ-endast optimering, som indikeras av de relativa sluttningarna i figur 5C. Slutsatser Sammanfattningsvis visar vi att generativa neurala nätverk kan underlätta beräkningseffektiv design av hög prestanda, topologiskt komplexa metaytor i fall där det är av intresse att generera en stor familj av konstruktioner. Neurala nätverk är ett kraftfullt och lämpligt verktyg för denna design problem eftersom det finns ett starkt ömsesidigt beroende mellan enheten topologi och optisk respons, särskilt för högpresterande enheter. Dessutom har vi förmågan att generera högkvalitativa träningsdata och validera enhetens prestanda med hjälp av kombinationen av iterativa optimatorer och noggranna elektromagnetiska lösare. Medan denna studie fokuserar på variationen av två enhetsparametrar (dvs. våglängd och deformationsvinkel), kan man tänka sig att generalisera det GAN-baserade tillvägagångssättet till fler enhetsparametrar, såsom enhetens tjocklek, enheten dielektrisk, polarisering, fasrespons och infallsvinkel. Sådana multifunktionella enheter kan potentiellt realiseras med hjälp av en hög kvalitet datauppsättning av multifunktionella enheter eller genom att införa flera discriminatorer för mönstersyntes. Iterativa optimeringsmetoder kan helt enkelt inte skala till dessa högdimensionella parameterutrymmen, vilket gör datadrivna metoder till en nödvändig väg till utformningen av ett stort antal topologiskt komplexa enheter. Vi noterar också att generativa nätverk kan integreras direkt i topologioptimeringsprocessen, genom att ersätta discriminatorn med en elektromagnetiska simulator (36). I alla dessa former av generativa nätverk banar den effektiva produktionen av stora datauppsättningar av topologiskt optimala metaytor vägen för användning av andra system för maskininlärning och datautvinning för analys och generering av enheter. Vi föreställer oss att datadrivna designprocesser kommer att tillämpas på utformning och karakterisering av andra komplexa nanofotoniska enheter, allt från dielektriska och plasmoniska antenner till fotoniska kristaller. De metoder vi beskrev kan även omfatta konstruktion av anordningar och strukturerade material inom andra områden, såsom akustik, mekanik och värmeöverföring, där det finns ett behov av att designa funktionella element över ett brett parameterutrymme. Nätverksarkitekturerna för den villkorliga GAN visas i tabell S1. Ingången till generatorn är en 128x1 vektor av Gaussiska slumpvariabler, den operativa våglängden, och utgången deformationsvinkel. Alla dessa ingångsvärden normaliseras till tal mellan -1 och 1. Utgången av generatorn, liksom inmatningen till discriminatorn, är binära bilder på en 64x256 rutnät, som är hälften av en enhet cell. Spegelsymmetri längs y-axeln upprätthålls genom att reflekterande stoppning används i konvolutions- och dekonvolutionsskikten. Periodisk stoppning används också för att fånga den periodiska karaktären av metagrering. Vi inkluderar också flera kopior av samma enheter i träningssetet, med varje kopia slumpmässigt översatt längs x-axeln. Vi finner att GAN-generatorn tenderar att skapa något bullriga mönster med mycket små funktioner. Dessa funktioner finns inte i enheter i träningssetet, som är robusta för tillverkningsfel och minimalt utnyttja små funktionsstorlekar. För att generera enheter som bättre efterliknar dem från träningsdatasetet, lägger vi till ett Gaussiskt filter i slutet av generatorn, före tanh-lagret, för att eliminera eventuella fina funktioner i de genererade enheterna. Under träningen använder både generator och discriminator Adam optimizer med en batchstorlek på 128, lärhastighet på 0,001, beta1 av 0, och beta2 av 0,99. Vi använder den förbättrade Wasserstein förlust (37, 38) med en lutning straff, med lambda = 10. Nätverket implementeras 8 med hjälp av Tensorflow och tränas på en Tesla K80 GPU för 1000 iterationer, vilket tar ca 5-10 minuter. Simuleringarna utfördes i Sherlocks datorkluster vid Stanford University.
REF Deras ett annat arbete omvandlade en GAN till en global optimizer genom att ersätta den traditionella discriminatorn med angränsande-baserade optimeringsalgoritm och använd gradient uppskattningsmetod för bakåtutbredning, sedan kombineras både som en fysik-driven, data-fri neurala nätverk.
Free-Form Diffractive Metagrating Design Based on Generative Adversarial Networks
{'venue': 'ACS nano', 'journal': 'ACS nano', 'mag_field_of_study': ['Materials Science', 'Computer Science', 'Physics', 'Medicine']}