Vi presenterar ett end-to-end, multimodalt, fullständigt konvolutionellt nätverk för att extrahera semantiska strukturer från dokumentbilder. Vi betraktar dokument semantisk strukturextraktion som en pixel-wise segmentering uppgift, och föreslår en enhetlig modell som klassificerar pixlar baserat inte bara på deras visuella utseende, som i den traditionella sidan segmentering uppgift, men också på innehållet i underliggande text. Dessutom föreslår vi en effektiv syntetisk dokumentgenereringsprocess som vi använder för att generera förutbildningsdata för vårt nätverk. När nätverket väl är utbildat på en stor uppsättning syntetiska dokument, finjusterar vi nätverket på omärkta riktiga dokument med hjälp av ett halvövervakat tillvägagångssätt. Vi studerar systematiskt den optimala nätverksarkitekturen och visar att både vårt multimodala tillvägagångssätt och den syntetiska förutbildningen av data avsevärt ökar prestandan.
I fall av dokument, Yang et al. använda en multimodal FCNN för att extrahera semantiska strukturer från dokumentbilder REF.
Learning to Extract Semantic Structure from Documents Using Multimodal Fully Convolutional Neural Networks
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}