Under de senaste åren har vi sett den omvälvande effekten av djupt lärande i många tillämpningar, särskilt i taligenkänning och datorseende. Inspirerad av Googles Inception-ResNet djupa konvolutionella neurala nätverk (CNN) för bildklassificering, har vi utvecklat "Chemception", en djup CNN för förutsägelse av kemiska egenskaper, med bara bilder av 2D-ritningar av molekyler. Vi utvecklar Chemception utan att ge någon ytterligare explicit kemikunskap, såsom grundläggande begrepp som periodicitet, eller avancerade funktioner som molekylära deskriptorer och fingeravtryck. Vi visar sedan hur Chemception kan fungera som en generell neural nätverk arkitektur för att förutsäga toxicitet, aktivitet, och Solvation egenskaper när tränas på en blygsam databas av 600 till 40000 föreningar. Jämfört med multi-lager perceptron (MLP) djupa neurala nätverk tränas med ECFP fingeravtryck, Chemception något överträffar i aktivitet och solvation förutsägelse och något underperformes i toxicitetsförutsägelse. Efter att ha matchat prestandan hos expertutvecklade QSAR/QSPR djupinlärningsmodeller visar vårt arbete att det är rimligt att använda djupa neurala nätverk för att hjälpa till med beräkningskemisk forskning, där funktionsteknikprocessen framför allt utförs av en djupinlärningsalgoritm. 3 ImageNet Large Scale Visual Recognition Challenge (ILSVRC) är en årlig bedömning och konkurrens av olika bildklassificering datoralgoritmer för datorseende applikationer. Under 2012, djupt lärande algoritmer först introducerades till denna gemenskap av Hinton och medarbetare, 1 och deras djupa neurala nätverk (DNN) modell, AlexNet, uppnått en 16,4% topp-5 felfrekvens, långt över den 25-30% felfrekvensen för state-of-the-art modeller som används vid den tidpunkten. Sedan dess har DNN-baserade modeller blivit den dominerande algoritmen som används i datorseende, och mänsklig noggrannhet (mindre än 5% för top-5 fel) uppnåddes 2015, cirka 3 år efter inträdet i denna gemenskap av djupt lärande. [2] [3] På senare tid har djupinlärning också börjat uppstå inom andra områden, såsom högenergipartikelfysik, 4-5 astrofysik, 6 och bioinformatik, Den viktigaste skillnaden i att använda djupinlärningsalgoritmer som ett verktyg för maskininlärning i motsats till ett verktyg för maskinintelligens är hjälp, förstärkning och möjlig ersättning, för mänskliga-ledda uppgifter som funktionsteknik i beräkningskemi. Inom kemiforskningen används historiskt sett mänsklig intelligens som bygger på substantiell domänexpertkemisk kunskap vid utveckling av kemispecifika egenskaper såsom molekylära deskriptorer och fingeravtryck. Dessa mänskliga-expert funktioner används sedan av maskininlärning algoritmer för QSAR och QSPR modellering, som under de senaste åren har också inkluderat djupa neurala nätverk. 9-23 Vi noterade dock att även i den senaste kemilitteraturen faller djupt lärande i kemi fortfarande under detta traditionella forskningsparadigm. Som illustreras i figur 1, Det finns en subtil men viktig distinktion som skiljer tillvägagångssättet för djupt lärande som ett verktyg för maskininlärning (som det traditionellt har gjorts i kemi) från den "maskinintelligens" metod som används i de ovan nämnda tekniska framsteg. Vi föreslår att ett forskningsparadigm som använder djupinlärning som ett verktyg för maskinintelligens ska sträva efter att hjälpa och om möjligt ersätta den tid- och resursintensiva delen av människaledd funktionsteknik. I samband med vårt arbete använder vi "rådata" i form av 2D-ritningar av molekyler som kräver den minsta mängden (dvs. inte högre än högstadie- och gymnasienivå) av kemisk kunskap att skapa. Vi undersöker genomförbarheten av förstärkning och eventuellt eliminera humanexpert funktionsteknik i specifika beräkning kemiska applikationer. Vi demonstrerar detta genom att träna djupa konvolutionella neurala nätverk för att förutsäga kemiska egenskaper som spänner över ett brett spektrum av kategorier inklusive fysiska (solvationsfria energier), biokemiska (in vitro HIV aktivitet) och fysiologiska (in vivo toxicitet) mätningar, utan inmatning av avancerad kemi kunskap, men istället tillåta nätverket att utveckla sina egna representationer och funktioner från de bilder det utbildas på. Detta djupa konvolutionella neurala nätverk, som vi kallar "Chemception", trots att ges minimal kemisk kunskap, uppnår en nivå av prestanda som är i nivå med expertutvecklade QSAR/QSPR modeller baserade på molekylära deskriptorer, fingeravtryck och andra konstruerade funktioner. Den långsiktiga betydelsen av vårt arbete ligger därför i mängden resurser som har förbrukats och hastigheten med vilken Chemception uppnår jämförbar prestanda för toxicitet, aktivitet och solvation förutsägelser till nuvarande QSAR/QSPR-modeller. När det gäller dataresurs kan modellen för den största datauppsättningen om hiv-aktivitet utbildas inom 24 timmar på en enda NVIDIA GTX 1080 GPU. Ännu viktigare, eftersom Chemception användes som ett "maskin intelligens" verktyg, praktiskt taget noll insats investerades i att utveckla en lämplig uppsättning funktioner. I den traditionella maskininlärningen som ett verktyg som dominerar konventionell QSAR/QSPR-modellering krävs däremot molekylära deskriptorer och fingeravtryck. Därför är modern cheminformatisk forskning beroende av den betydande anhopningen av kemiforskning och kunskap från 1940-talet där de första molekylära deskriptorerna som Wienerindex och Platttal rapporterades i litteraturen. 31-32 Därför är utvecklingen av en lämplig uppsättning molekylära deskriptorer och andra avancerade funktioner både en icke-trivial forskningsuppgift, och en förutsättning för att QSAR/QSPR modellering ska lyckas. Eftersom Chemception emellertid fungerar i jämförelse med befintliga QSAR/QSPR-modeller undanröjer dess användning tekniskt det nödvändiga kravet att utveckla lämpliga molekylära deskriptorer och fingeravtryck för keminformatisk forskning, vilket kommer att vara användbart i situationer där den nuvarande generationen av expertutvecklade funktioner inte ger tillräcklig prestanda. Dessutom, det faktum att samma Chemception arkitektur fungerar lika bra för olika kemiska egenskaper, utan behovet av att justera nätverksdesign för varje egenskap, tyder på att Chemception är ett allmänt syfte neurala nätverk som kan användas för att förutsäga andra egenskaper hos små-molekyler utöver dem som studeras i detta papper. Slutligen, eftersom vi har valt en domänagnostisk strategi för att utveckla Chemception, förväntar vi oss att den allmänna metod som används också kommer att kunna överföras till andra typer av forskningsutmaningar, särskilt om det finns en lämplig bildlig representation av uppgifterna.  Dataförberedelse utfördes med hjälp av representation som beskriver en molekyls struktur. SMILES-strängen avkodades till sin motsvarande molekylstruktur i 2D med hjälp av ovannämnda cheminformatikprogramvara. De resulterande koordinaterna för 2D-strukturen i varje molekyl kartlades sedan på ett 80 x 80 rutnät, där varje pixel hade en upplösning på 0,5 Å som illustreras i figur 2. Den resulterande 80 x 80 array 9 var sedan gråskala "färgkodad" baserat på närvaron av en atom eller en bindning. I synnerhet tilldelades atomer som kartlagts på rutnätet ett nummer baserat på sin atommassaenhet, och obligationer som kartlagts på rutnätet tilldelades nummer 2, eftersom det inte motsvarar identiteten på något element i utbildningssetet. Övriga delar av nätet var tomma (dvs. vakuum) och var standard till siffran 0. Den resulterande diskretiserade bilden av molekylen tolkades sedan in i ett djupt konvolutionellt neuralt nätverk för träning. Medan cheminformatikprogramvara med öppen källkod användes i förberedelseskedet av data, var dess roll att automatisera databehandlingsprocessen och underlätta kompatibilitet med befintliga kemiska databaser. Med andra ord skulle användning av en databas med fotografier av konsekventa och korrekt ritade kemiska strukturer som inte kräver mer än kemikunskap på gymnasienivå som indata, vara likvärdigt med användning av de datorgenererade strukturer som genereras av arbetsflödet för databeredning som nämns ovan. Dessutom bör det betonas att ingen ytterligare källa till kemiinspirerade egenskaper eller indata, såsom molekylära deskriptorer eller fingeravtryck, användes för att utbilda modellen. Detta innebär att Chemception inte uttryckligen gavs med ens de mest grundläggande kemiska begrepp som "valutans" eller "periodicitet". Med tanke på vårt val att koda bilden i en enkanalig gråskala där varje atom och bindning har ett unikt tal, finns det potential för neurala nätverket att lära sig grundläggande kemiska begrepp om det skulle underlätta förutsägelsen av egendom av intresse. En sådan uppgift kan dock inte vara särskilt enkel eftersom atominformation, bindningsinformation och information om tomrum (vakuum) alla delar samma kanal i bilden. Därför är förutsägelsen av molekylens egenskaper helt beroende av Chemception förmåga att lära relevanta representationer från bilddata 10 och automatiskt konstruera sina egna funktioner (dvs.. dess egna analoga uppsättning "molekylära deskriptorer") som är relevanta för att förutsäga den kemiska egenskapen av intresse. Mätningar som sträcker sig från stressresponsvägar till nukleära receptorer. Denna datauppsättning ger ett binärt klassificeringsproblem av att märka molekyler som antingen "giftiga" eller "icke-giftiga". Förutom Tox21 som mäter fysiologiska effekter av kemikalier undersökte vi också två andra datauppsättningar som fokuserar på olika typer av egenskaper - fysiska och biokemiska. Vi utvärderade prestandan av Chemception på FreeSolv dataset, som omfattar 643 föreningar som har mätt fuktfri energi av småmolekyler från -25.5 till 3,4 kcal/mol. Dataset Beskrivning Hydration fri energi är en fysisk egenskap hos molekylen som kan beräknas från första principer. 41 Datasetet inkluderade också alkemisk fri energi beräkningar som erhållits från molekylära dynamikssimuleringar, och dessa användes som måljämförelser för fysikbaserade modeller. Slutligen utvärderade vi prestandan av Chemception på HIV-datauppsättningen som erhållits från Drug Therapeutics Program AIDS Antiviral Screen, som mätte förmågan hos 41913 föreningar att hämma HIV-replikation in vitro. 42 Med hjälp av den kuration metod som antagits av 11 MoleculeNet, 39 denna datauppsättning reducerades till en binär klassificering problem av "aktiva" och "inaktiva" föreningar. Vid behandlingen av Chemception träningsdata använde vi ett femfaldigt korsvalideringsprotokoll för utbildning, och utvärderade prestanda och tidigt stoppkriteriet för modellen med hjälp av valideringssetet. Vi inkluderade också prestandan på en separat testuppsättning som en indikator på allmängiltighet. För Tox21- och HIV-datasetet separerades 1/6 th i databasen för att bilda testsetet, och för Freesolv-datasetet användes 1/10 th av databasen för att bilda testsetet. Resterande 5/6 eller 9/10 th av datasetet användes sedan i den slumpmässiga 5-faldiga korsvalideringsmetoden för utbildning av Chemception, och stratifiering verkställdes för klassificeringsuppgifter (Tox21, HIV), vilket innebar att utbildnings-, validerings- och testuppsättningen hade ungefär samma förhållande av klasser. Dessutom noterade vi att förhållandet mellan klasserna för klassificeringsuppgifter var obalanserat, från 1:5 till 1:34. För att ta itu med denna skeva fördelning överlappade vi minoritetsklassen; vid konstruktionen av utbildnings-, validerings- och testuppsättningen beräknade vi obalansförhållandet och bifogade ytterligare data från minoritetsklassen med detta obalansförhållande. Det bör noteras att detta översamplingssteg utfördes efter stratifiering, vilket innebär att även om samma data kan upprepas i ett visst tränings-/validerings-/testset, är uppgifterna för olika utbildnings-/validerings-/testset unika och inte överlappar varandra. Teorin om djupa neurala nätverk har utförligt dokumenterats i tidigare publikationer och recensioner. [43] [44] [45] För syftet med detta manuskript introducerar vi kort de begreppsmässiga detaljer på hög nivå som är nödvändiga för att förstå djupa neurala nätverk. Artificiella neurala nätverk, på vilka djupt lärande algoritmer är baserade, är en klass 12 av maskininlärning algoritmer som används för att modellera och analysera stora komplexa datauppsättningar. Den grundläggande enheten av neurala nätverk är en "neuron", och för konceptuell och beräkningskomfort, dessa neuroner är organiserade i lager, vars nätverksdesign är inspirerad av biologiska neurala nätverk. Varje neuron i nätverket utför en beräkning som omvandlar indata som mottagits till ett utgångsvärde, genom att kartlägga det till en icke-linjär funktion. Dessutom justeras "vikten" av varje neurons funktion i konstruktionen av modellen för att minimera felet i det förutsagda värdet, en process som kallas "träning" av det neurala nätverket. Operativt representeras inmatningen som en vektor och neuronernas vikt i skiktet arrangeras in i en matris. Detta lager utför sedan matris-vektor multiplikation följt av en icke-linjär aktiveringsfunktion. För de flesta moderna neurala nätverk, inklusive Chemception neurala nätverk som utvecklats i detta papper, korrigerad linjär aktiveringsfunktioner (ReLU) 46 används, eftersom denna specifika funktionella form möjliggör utbildning av många lager för att bilda ett djupt neuralt nätverk. Under utbildningen, är det nödvändigt att bestämma hur man tilldela fel tillskrivning och göra korrigeringar på dess vikter genom att arbeta bakåt med ursprung från den förutsagda produktionen, och tillbaka genom neurala nätverket. Denna bakåtriktade spridning av fel kallas formellt "backpropagation". Under backpropagation används lutningsnedstigningsalgoritmen för att hitta det minimum i felytan som orsakas av respektive neuron när en motsvarande utgång genereras. Konceptuellt skiljer sig lutningsnedstigningen inte från den brantaste nedstigningsalgoritm som används i klassisk molekylär dynamikssimulering. Den viktigaste skillnaden är istället för att iterativt minimera en energifunktion och uppdatera atomkoordinater för varje steg, en förlustfunktion av DNN:s målutgång är iterativt minimerad och neuronernas vikt uppdateras varje steg, som också kallas "iteration" i litteraturen. Data i träningssetet kan itereras flera gånger, med en fullständig passage över data som kallas en "epoch." Konvolutionella neurala nätverk (CNN) är en speciell typ av neurala nätverk som utvecklats för att hantera bilddata, extrahera och ingenjör funktioner som är relevanta för den uppgift den utbildas på. Sedan 2012 har varje vinnande bidrag i den årliga tävlingen ImageNet främst baserats på en CNN-arkitektur, även om ytterligare tweaks och variationer i arkitekturdesign har dykt upp under årens lopp. [29] [30] Som illustreras i figur 3a, är ett CNN konstruerat från konvolutionella lager; i stället för att ha varje neuron i varje lager ansluten till varje neuron i föregående lager, varje neuron i ett konvolutionslager (eller "filter" som det brukar kallas i litteraturen) endast får input från ett litet, rumsligt sammanhängande fönster på utgången av det föregående lagret. Dessutom finns det filter som tar emot fönster över hela inmatningen med delade vikter, så att de alla upptäcker samma funktion på olika platser i en bild. Detta gör det möjligt för konvolutionella skikt att bevara rumslig struktur i data, såsom de relativa positionerna för pixlar i bilder. Vid installation av konvolutionslager är det nödvändigt att ange det rumsligt sammanhängande fönster på vilket varje filter fungerar. Formellt kallas detta storleken; ett 4x4 konvolutionslager fungerar alltså på en rumslig region som är 4x4 "pixlar" i dimensioner. Dessutom styrs "överlappningen" mellan angränsande fönster av steget; ett 4x4-konvolutionsskikt med ett steg på 2 skulle därmed nedta bilden i regioner på 4x4 "pixlar", och varje region skulle ha en 2 "pixel" överlappning med varandra. Liknar Inception-ResNet v2, Chemception hög nivå arkitektonisk design omfattar 6 segment. Som illustreras i figur 3b, detta inkluderar stamskiktet, följt av en serie Inception-ResNet A block, en reduktion block (Reduction-A), en andra serie av Inception-ResNet B block, en andra reduktion block (Reduction-B), den tredje och sista serien av Inception-ResNet C block, som sedan skickas till en global pooling lager som leder direkt till den slutliga utdatalagret. För klassificeringsproblem (Tox21, HIV) användes ett mjukmax-skikt som utgångsskikt och för regressionsproblem (FreeSolv) användes ett linjärt lager som utgångsskikt. I utvecklingen av Chemception, och med tanke på att Inception-ResNet v2 är en mycket optimerad arkitektur för bearbetning av bilddata, vi inte ändra många arkitektoniska regularities av neurala nätverket, vilket inkluderar designval av de olika startmoduler och reduktionsmoduler. Vi gjorde dock optimera antalet startblock i varje segment, och även bredden på lagren i varje block. Vi observerade att i den ursprungliga InceptionResNet v2 design, inom varje startblock, det fanns en specifik regelbundenhet i antalet convolutional filter över olika grenar i startmodulen, och även inom varje gren själv, och detta regelbundna mönster behölls. Som illustreras i figur 4 omvandlades start- och reduktionsblocken från Inception-ResNet v2 till ett referensdesignblock. Denna referenskonstruktion hade ett valt referensskikt för varje block, från vilket de konvolutionella filtren för andra skikt beräknas, samtidigt som den observerade regelbundenheten i blockkonstruktionen bibehålls. Därefter för resten av detta papper, när vi anger att antalet konvolutionsfilter för en viss 17 block är satt till ett specifikt nummer, hänvisar vi till antalet convolutional filter av referensskiktet för just detta block. Slutligen, istället för att använda en serie av 7 lager för stamsegmentet som i Inception-ResNet v2, ersatte vi den med ett enda konvolutionslager av storlek (4, 4) och steg (2, 2). En baslinjemodell, Chemception T1, som representerar den kortaste möjliga konstruktionen konstruerades utifrån dessa arkitektoniska detaljer på hög nivå. Vi testade också ytterligare 9 iterationer av Chemception arkitektur, och konstruktionsdetaljer och prestanda ingår i resultaten. Chemception tränades med hjälp av ett standardprotokoll för femfaldig korsvalidering, och detaljerna i datauppsättningens delning har inkluderats i föregående avsnitt. Chemception tränades med hjälp av en tensorflow backend 48 med GPU acceleration med NVIDIA CuDNN bibliotek. 49 Nätverket skapades och utfördes med Keras 1.2 funktionellt API-gränssnitt. 50 Chemception tränades med hjälp av ett tvåstegsprotokoll. I det första steget använder vi RMSprop algoritm 51 för 50 epoker med hjälp av de standardinställningar som rekommenderas (lärhastighet = 10 -3, ρ = 0,9, ε = 10 -8 ). Detta följdes av ett andra finjusterande stadium med hjälp av den stokastiska lutningen nedstigning (SGD) algoritm med momentum för ytterligare 50 epoker, med hjälp av en initial inlärningshastighet på 10 - 3 med en exponentiell inlärningshastighet förfall kartlagt med hjälp av följande funktion: där lr betecknar den nuvarande inlärningshastigheten, Lrini betecknar den initiala inlärningshastigheten, γ är en empirisk skalningsfaktor som är inställd på 0,92, och epok betecknar den nuvarande epoken. Vi använde en satsstorlek på 32, och efter klassen balansering och översampling, varje uppgift i Tox21 datasetet utbildades (hänvisar till kombinerad storlek på utbildning och validering set) på ~ 8.000 till ~12.000 föreningar. Hiv-datasetet utbildades på cirka 66.000 föreningar och Freesolv tränades på ~580 föreningar. För en fullständig 100 18 epok träningscykel, innebär detta att Chemception skulle observera i genomsnitt ~30 000 batch uppdateringar. För Freesolv dataset, på grund av sin lilla storlek, lade vi också till 10X mer data per epok för att säkerställa att det hade samma storleksordning av batch uppdateringar som Tox21 och HIV dataset. Slutligen, med ett stort antal utbildningsbara parametrar i Chemception jämfört med traditionella maskininlärning algoritmer, som sträcker sig mellan ~70.000 till ~230,000 beroende på den Chemception arkitektur som används, Vi inkluderade också ett tidigt stopp protokoll för att minska övermontering. Detta gjordes genom att övervaka förlusten av valideringsmängden, och om det inte fanns någon förbättring i valideringsförlusten efter 25 epoker, sparades den senaste bästa modellen som utvärderats av valideringsförlusten, och detta användes för det andra finjusteringsstadiet av utbildningen eller sparades som den slutliga modellen. Slutligen, för datasetet Tox21 och HIV, är det utvärderingsmått som rapporteras i vårt dokument område under ROC-kurvan (AUC). För FreeSolv-datauppsättningen är utvärderingsmåttet RMSE, som för en given datauppsättning av n-prov definieras som: De rapporterade resultaten i pappret är medelvärdet och standardavvikelsen för prestandamåttet, som erhålls från de 5 körningarna i det 5-faldiga korsvalideringsprotokollet. Under utbildningen av Chemception utförde vi ytterligare dataförstärkning i realtid till bilden med hjälp av ImageDataGenerator-funktionen i Keras API, för att stärka det begränsade antalet data som vi har för varje uppgift. Sådana data förstärkning tekniker är en vanlig och rekommenderad praxis i datorseende litteratur 52, och inkluderar operationer som klippning, beskärning, rotation, etc. Till skillnad från fotografiska bilder där en väsentlig del av bilden används för att göra förutsägelsen, 53 vi hypotes detta kanske inte är fallet för våra data. Detta är 19 eftersom bilderna av molekylerna är jämförelsevis glesare eftersom de mest befolkas (>90%) av nollor, och de "användbara" datana är således lokaliserade till en mycket liten del av bilden. Paradoxalt nog, medan bilden kan vara gles, är varje pixel också rikare när det gäller informationstäthet. För att illustrera denna punkt, en hydroxyl (-OH) grupp kräver minst 2 pixlar för att rita pixel för atomen, och en annan pixel för obligationen. För att hydroxylgruppen ska ha någon bakgrundsmolekylisk kontext kan relevant information inkludera bindningspixlar till angränsande
REF pretrainerar ett djupt nätverk som tar som en ingång en bild av en molekyl.
Chemception: A Deep Neural Network with Minimal Chemistry Knowledge Matches the Performance of Expert-developed QSAR/QSPR Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}