Vi föreslår tvåradiga modeller, en igenkänningsarkitektur som består av två funktionsextraktorer vars utgångar multipliceras med hjälp av yttre produkt på varje plats av bilden och poolas för att få en bilddeskriptor. Denna arkitektur kan modellera lokala parvisa funktionsinteraktioner på ett översättningsmässigt invariantt sätt som är särskilt användbart för finkornig kategorisering. Den generaliserar också olika ordningslösa texturdeskriptorer såsom Fisher vektorn, VLAD och O2P. Vi presenterar experiment med tvåradiga modeller där funktionsextraktorer är baserade på konvolutionella neurala nätverk. Den bilinjära formen förenklar lutningsberäkningen och möjliggör end-to-end utbildning av båda nätverken med enbart bildetiketter. Med hjälp av nätverk som initieras från ImageNet dataset följt av domänspecifik finjustering får vi 84,1% noggrannhet av CUB-200-2011 dataset som kräver endast kategorietiketter vid utbildningstid. Vi presenterar experiment och visualiseringar som analyserar finjusteringens effekter och valet av två nätverk på modellernas hastighet och noggrannhet. Resultaten visar att arkitekturen på ett gynnsamt sätt jämför med den befintliga tekniken på ett antal finkorniga dataset samtidigt som den är betydligt enklare och lättare att träna. Dessutom är vår mest exakta modell ganska effektiv körs på 8 ramar / sek på en NVIDIA Tesla K40 GPU. Källkoden för hela systemet kommer att göras tillgänglig på
Lin m.fl. föreslå en bilinjär CNN REF, som kombinerar resultaten från två olika funktionsextraktorer genom att använda en yttre produkt, för att modellera lokala parvisa funktionsinteraktioner på ett översättningsmässigt invariantt sätt.
Bilinear CNN Models for Fine-Grained Visual Recognition
{'venue': '2015 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2015 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}