Vi undersöker omni-övervakat lärande, en särskild ordning för halvövervakat lärande där eleven utnyttjar alla tillgängliga märkta data plus internetskalor av omärkta data. Omni-övervakad inlärning är lägre begränsad av prestanda på befintliga märkta datauppsättningar, vilket erbjuder potential att överträffa state-of-the-art fullt övervakade metoder. För att utnyttja den omni-övervakade inställningen föreslår vi datadestillation, en metod som ensembler förutsägelser från flera omvandlingar av omärkta data, med hjälp av en enda modell, för att automatiskt generera nya träningsanteckningar. Vi hävdar att visuella igenkänningsmodeller nyligen har blivit tillräckligt exakta för att det nu är möjligt att tillämpa klassiska idéer om självträning för att utmana verkliga data. Våra experimentella resultat visar att i fall av detektering av mänskliga nyckelpunkter och allmän objektdetektering, toppmoderna modeller utbildade med datadestillering överträffar prestandan av att använda märkta data från COCO dataset ensam.
REF utvidgade ytterligare datadestillation till allövervakad inlärning genom ensemble av förutsägelser från flera omvandlingar av omärkta data för att generera nya utbildningsanteckningar med hjälp av ett enda nätverk.
Data Distillation: Towards Omni-Supervised Learning
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}