Inlärning diskreta representationer av data är en central maskininlärning uppgift på grund av kompaktiteten i representationerna och lätt tolkning. Uppgiften omfattar klusterbildning och haschinlärning som specialfall. Djupa neurala nätverk är lovande att användas eftersom de kan modellera icke-linjäritet av data och skala till stora dataset. Men deras modell komplexitet är enorm, och därför måste vi noggrant regularisera nätverken för att lära sig användbara representationer som uppvisar avsedd invarians för tillämpningar av intresse. I detta syfte föreslår vi en metod som kallas Information Maximing Self Augmented Training (IMSAT). I IMSAT använder vi dataförstärkning för att införa variationen på diskreta representationer. Mer specifikt uppmuntrar vi de förutsagda representationerna av förstärkta datapunkter att ligga nära de ursprungliga datapunkterna på ett slut-till-slut-sätt. Samtidigt maximerar vi det informationsteoretiska beroendet mellan data och deras förutsedda diskreta representationer. Omfattande experiment på referensdataset visar att IMSAT producerar toppmoderna resultat för både klusterbildning och oövervakad hashinlärning.
REF lär sig diskreta representationer på ett oövervakat sätt genom att maximera den ömsesidiga informationen mellan representation och data.
Learning Discrete Representations via Information Maximizing Self Augmented Training
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}