Detta dokument fokuserar på en ny uppgift, dvs. transplantera ett kategori-och-task-specifikt neuralt nätverk till ett generiskt, modulärt nätverk utan stark övervakning. Vi utformar en funktionellt tolkningsbar struktur för det generiska nätverket. Som att bygga LEGO block, lär vi det generiska nätverket en ny kategori genom att direkt transplantera modulen som motsvarar kategorin från ett förskolat nätverk med några eller till och med utan prov annoteringar. Vår metod tillför stegvis nya kategorier till det generiska nätverket men påverkar inte representationer av befintliga kategorier. På så sätt bryter vår metod den typiska flaskhalsen att lära sig ett nät för massiva uppgifter och kategorier, dvs.. Kravet på insamling av prover för alla uppgifter och kategorier samtidigt innan lärandet påbörjas. Därför använder vi en ny destillationsalgoritm, nämligen back-destillering, för att övervinna specifika utmaningar vid nätverkstransplantation. Vår metod utan träningsprover överträffade till och med baslinjen med 100 träningsprover.
Zhang m.fl. REF lärde sig funktionellt tolkas, modulära strukturer för neurala nätverk via nätverk transplantering.
Network Transplanting
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}