Representationslärande lovar att låsa upp djupt lärande för den långa svansen av vision uppgifter utan expansiva märkta dataset. Men avsaknaden av en enhetlig måttstock för utvärdering av allmänna visuella framställningar hindrar framsteg. Många delfält lovar representationer, men var och en har olika utvärderingsprotokoll som antingen är alltför begränsade (linjär klassificering), begränsade i omfattning (ImageNet, CIFAR, Pascal-VOC), eller endast löst relaterade till representationskvalitet (generation). Vi presenterar Visual Task Adaptation Benchmark (VTAB): ett mångsidigt, realistiskt och utmanande riktmärke för att utvärdera representationer. VTAB förkroppsligar en princip: bra representationer anpassar sig till osynliga uppgifter med få exempel. Vi kör en stor VTAB studie av populära algoritmer, svarar på frågor som: Hur effektiv är ImageNet representation på icke-standard datauppsättningar? Är generativa modeller konkurrenskraftiga? Är självövervakning användbar om man redan har etiketter? * Lika avgifter. † Korrespondens till neilhoulsby@google.com.
Den visuella aktivitetsanpassningen Benchmark Ref infördes nyligen.
THE VISUAL TASK ADAPTATION BENCHMARK
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}