Maskininlärning är i huvudsak vetenskapen att leka med data. En adaptiv strategi för dataval, som gör det möjligt att dynamiskt välja olika data i olika utbildningsstadier, kan på ett effektivare sätt nå en effektivare modell. I detta dokument föreslår vi en djupgående förstärkning av inlärningsramen, som vi kallar Neural Data Filter (NDF), för att undersöka automatiskt och adaptivt dataval i utbildningsprocessen. I synnerhet, NDF drar nytta av ett djupt neuralt nätverk för att adaptivt välja och filtrera viktiga data instanser från en sekventiell ström av träningsdata, så att den framtida ackumulerande belöningen (t.ex. konvergenshastigheten) maximeras. I motsats till tidigare studier i dataval som huvudsakligen baseras på heuristiska strategier, NDF är ganska generisk och därmed kan vara allmänt lämplig för många maskininlärning uppgifter. Att ta neurala nätverk utbildning med stokastisk lutning nedstigning (SGD) som exempel, omfattande experiment med avseende på olika neurala nätverk modellering (t.ex., flerlager perceptron nätverk, konvolutionella neurala nätverk och återkommande neurala nätverk) och flera tillämpningar (t.ex. bildklassificering och text förståelse) visar att NDF-drivna SGD kan uppnå jämförbar noggrannhet med standard SGD-process genom att använda mindre data och färre iterationer.
I Ref föreslås en ram för fördjupat lärande för att utveckla en adaptiv metod för dataval som automatiskt filtrerar viktiga datapunkter.
Learning What Data to Learn
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}