MixUp (Zhang et al.) 2017 ) är ett nyligen föreslaget dataaugmentation system, som linjärt interpolerar ett slumpmässigt par av utbildningsexempel och motsvarande de enhot representationer av sina etiketter. Utbildning djupa neurala nätverk med sådana ytterligare data visas kan avsevärt förbättra den prediktiva noggrannheten av den nuvarande konsten. Effekten av MixUp är dock i första hand etablerad empiriskt och dess funktion och effektivitet har inte förklarats på djupet. I detta dokument utvecklar vi en förståelse för MixUp som en form av "out-of-manifold legalisering", som inför vissa "lokala linjäritet" begränsningar på modellens ingångsutrymme bortom datagrenröret. Denna analys gör det möjligt för oss att identifiera en begränsning av MixUp, som vi kallar "manifold intrång". I ett nötskal är mångfaldig intrång i MixUp en form av undermontering till följd av konflikter mellan de syntetiska etiketterna på de blandade exemplen och etiketterna på original träningsdata. Ett sådant fenomen inträffar vanligtvis när de parametrar som styr uppkomsten av blandningspolicyer inte är tillräckligt finjusterade på utbildningsdata. För att ta itu med denna fråga, föreslår vi en ny adaptiv version av MixUp, där blandningspolicyer automatiskt lärs från data med hjälp av en ytterligare nätverk och objektiv funktion utformad för att undvika mångfald intrång. Den föreslagna regularizern, AdaMixUp, utvärderas empiriskt på flera referensdatauppsättningar. Omfattande experiment visar att AdaMixUp förbättrar vid MixUp när det appliceras på den nuvarande konsten att djup klassificering modeller.
Guo m.fl. REF föreslog att man skulle lära sig mixningspolitiken genom ytterligare ett nätverk i stället för slumpmässig policy.
MixUp as Locally Linear Out-Of-Manifold Regularization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}