För artificiell allmän intelligens (AGI) skulle det vara effektivt om flera användare utbildade samma gigantiska neurala nätverk, tillåter parameter återanvändning, utan katastrofal glömska. PathNet är ett första steg i denna riktning. Det är en neural nätverksalgoritm som använder agenter inbäddade i det neurala nätverket vars uppgift är att upptäcka vilka delar av nätverket att återanvända för nya uppgifter. Agenter är banor (vyer) genom nätverket som bestämmer den delmängd av parametrar som används och uppdateras av framåt och bakåt passerar av backpropogation algoritmen. Under inlärning, en turnering val genetisk algoritm används för att välja vägar genom neurala nätverket för replikation och mutation. Pathway fitness är prestandan för denna väg mätt enligt en kostnadsfunktion. Vi demonstrerar framgångsrikt överföringsinlärning; fastställande av parametrarna längs en väg inlärd på uppgift A och omutveckling av en ny population av vägar för uppgift B, gör det möjligt att lära sig uppgift B snabbare än det kan läras från grunden eller efter finjustering. Vägar utvecklades på uppdrag B återanvända delar av den optimala vägen utvecklats på uppgift A. Positiv överföring visades för binära MNIST, CIFAR och SVHN övervakade lärande klassificering uppgifter, och en uppsättning av Atari och Labyrint förstärka lärande uppgifter, tyder PathNets har allmän tillämplighet för neurala nätverk utbildning. Slutligen, PathNet också avsevärt förbättrar robustheten till hyperparameter val av en parallell asynkron förstärkning inlärningsalgoritm (A3C).
PathNet, som föreslås av REF, väljer en väg för den aktuella nya uppgiften av en turnering val genetisk algoritm.
PathNet: Evolution Channels Gradient Descent in Super Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}