Med utgångspunkt i de senaste framstegen inom bildtextgenerering och optisk karaktärsigenkänning (OCR), presenterar vi ett allmänt, djupt lärande-baserat system för att dekompilera en bild till presentationsmarkering. Även om denna uppgift är ett välstuderat problem i OCR, vår metod tar en inneboende annorlunda, datadriven strategi. Vår modell kräver inga kunskaper om det underliggande markupspråket, och är helt enkelt tränad end-to-end på verkliga exempeldata. Modellen använder ett konvolutionsnätverk för text- och layoutigenkänning i tandem med ett uppmärksamhetsbaserat neural maskinöversättningssystem. För att träna och utvärdera modellen introducerar vi en ny datauppsättning av verkliga utgivna matematiska uttryck parade med LaTeX markup, samt en syntetisk datauppsättning av webbsidor parade med HTML-slippar. Experimentella resultat visar att systemet är förvånansvärt effektivt för att generera korrekt markering för båda datauppsättningarna. Medan ett standarddomänspecifikt LaTeX OCR-system uppnår cirka 25% noggrannhet, återger vår modell den exakta renderade bilden på 75% av exemplen.
Det finns också arbete med att förstå matematiska uttryck med ett konvolutionellt nätverk för text- och layoutigenkänning genom att använda ett uppmärksamhetsbaserat neural maskinöversättningssystem REF.
What You Get Is What You See: A Visual Markup Decompiler.
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}