Abstract-I detta papper presenterar vi en bild tolkning till textbeskrivning (I2T) ramverk som genererar textbeskrivningar av bild och videoinnehåll baserat på bildförståelse. Den föreslagna I2T-ramen följer tre steg: 1) Inmatningsbilder (eller videoramar) sönderdelas i sina grundläggande visuella mönster av en bildtolkmotor, i en anda som liknar tolkningsmeningar i naturligt språk. 2) Bildtolkningsresultaten omvandlas till semantisk representation i form av Web Ontology Language (OWL), som möjliggör sömlös integration med allmänna kunskapsbaser. 3) En textgenereringsmotor omvandlar resultaten från tidigare steg till semantiskt meningsfulla, mänskliga läsbara och frågebara textrapporter. Centrumdelen av I2T-ramverket är en och-eller graf (AoG) visuell kunskapsrepresentation, som ger en grafisk representation som fungerar som förkunskaper för att representera olika visuella mönster och ger top-down hypoteser under bildtolkningen. AoG förkroppsligar ordförråd av visuella element inklusive primitiva, delar, objekt, scener samt en stokastisk bild grammatik som specificerar syntaktiska relationer (d.v.s. sammansättning) och semantiska relationer (t.ex. kategoriska, rumsliga, tidsmässiga och funktionella) mellan dessa visuella element. Därför är AoG en enhetlig modell för både kategorisk och symbolisk representation av visuell kunskap. Den föreslagna I2T-ramen har två mål. För det första använder vi halvautomatisk metod för att tolka bilder från Internet för att bygga en AoG för visuell kunskapsrepresentation. Vårt mål är att göra tolkningsprocessen mer och mer automatisk med hjälp av den lärda AoG-modellen. För det andra använder vi automatiska metoder för att tolka bild/video i specifika domäner och generera textrapporter som är användbara för verkliga applikationer. I fallstudierna i slutet av detta dokument demonstrerar vi två automatiska I2T-system: ett videoövervakningssystem för den maritima och urbana scenen och ett automatiskt system för att förstå körscenen i realtid.
REF presenterar en allmän ram för att generera textbeskrivningar av bild- och videoinnehåll baserat på bildtolkning.
I2t: Image parsing to text description
{'venue': 'Proc. IEEE', 'journal': None, 'mag_field_of_study': ['Computer Science']}