Effektiva konvolutionella neurala nätverk utbildas på stora uppsättningar av märkta data. Att skapa stora märkta dataset är dock en mycket kostsam och tidskrävande uppgift. Halvövervakad inlärning använder omärkta data för att träna en modell med högre noggrannhet när det finns en begränsad uppsättning märkta data tillgängliga. I detta dokument överväger vi problemet med halvövervakad inlärning med konvolutionella neurala nätverk. Tekniker som randomiserad dataförstärkning, avhopp och slumpmässig maxpoolning ger bättre generalisering och stabilitet för klassificerare som tränas med lutningsnedstigning. Flera pass av ett individuellt prov genom nätverket kan leda till olika förutsägelser på grund av icke-deterministiskt beteende av dessa tekniker. Vi föreslår en oövervakad förlustfunktion som utnyttjar dessa metoders stokastiska karaktär och minimerar skillnaden mellan förutsägelserna om flera pass av ett träningsprov genom nätverket. Vi utvärderar den föreslagna metoden på flera referensdatauppsättningar.
Denna idé användes i REF där de tillämpar slumpmässig dataförstärkning, avhopp och slumpmässig maxpoolning samtidigt som de tvingar softmax-prognoser att vara likartade.
Regularization With Stochastic Transformations and Perturbations for Deep Semi-Supervised Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}