83 e har nyligen utvecklat ett video databassystem, BilVideo, som ger integrerat stöd för spatiotemporala, semantiska och låg nivå funktionsfrågor. 1 Som en vidareutveckling för detta system presenterar vi ett naturligt språkbaserat gränssnitt för frågespecifikation. Detta naturliga språkbehandling (NLP)-baserade gränssnitt låter användare formulera frågor som meningar på engelska genom att använda en del av tal (POS) taggning algoritm. Systemet grupperar sedan de angivna frågorna som objekt-utseende, rumsliga, och likhet-baserade frågor objekt bana genom att använda POS taggning information. Den skickar frågorna konstruerade i form av Prolog fakta till frågebehandlingsmotorn, som interagerar med både kunskapsbasen och objekt-relationsdatabas för att svara på användarfrågor som innehåller en kombination av spatiotemporala, semantiska, färg, form och textur video frågor. Frågeprocessorn integrerar sömlöst de mellanliggande frågeresultaten som returneras från dessa två systemkomponenter. Systemet skickar slutresultatet till webbklienter. Det som motiverar vårt arbete är behovet av ett smidigt och flexibelt naturligt språkbaserat gränssnitt för att komplettera det textbaserade frågegränssnittet och det visuella frågegränssnittet i BilVideo-systemet, eftersom specifikation av rumsliga frågor med text eller visuella gränssnitt inte är särskilt lätt för nybörjare. (För exempel på hur andra har försökt att hantera dessa frågor, se "Relaterat arbete" sidofältet, nästa sida.) Således har vi utvecklat ett naturligt språkbaserat frågegränssnitt som är bekvämt och erbjuder större flexibilitet när du anger frågor. Den POS-baserade mönstermatchning strategi som vi använder för att identifiera frågor hjälper användare att ange frågor utan att följa strikta regler. Detta tillvägagångssätt låter oss också justera vårt frågegränssnitt enkelt när vi lägger till nya frågetyper till BilVideo-systemet. BilVideos spatiotemporala frågor innehåller alla kombinationer av rumsliga, temporala, objekt-utseende, externa-predikat, bana-projicering, och likhet-baserade objektbana förhållanden. Ett regelbaserat system som bygger på en kunskapsbas behandlar dessa typer av frågor. En funktionsdatabas som underhålls av en objekt-relationsdatabas svarar också på semantiska (nyckelord, händelse / aktivitet, och kategori-baserad) och låga nivå funktionsförfrågningar (färg, form, och textur). BilVideo har följande delar: 1  på en objektutsugare, som extraherar framträdande objekt från video nyckelramar, en faktautdragare, som extraherar spatiotemporala relationer mellan videoobjekt och lagra dem i kunskapsbasen som fakta, en video annotator, som extraherar semantiska data från videoklipp och lagrar dem i funktionsdatabasen för att fråga videodata för dess semantiska innehåll, en webbaserad visuell frågegränssnitt, som specificerar frågor genom att använda visuella skisser och visar resultaten, och en textfråga språk, som specificerar frågor med hjälp av en utökad Structated Query Language (SQL). För närvarande använder BilVideo ett webbaserat visuellt frågegränssnitt för frågespecifikation (tillgänglig på http://www.cs.bilkent.edu.tr/~bilddg/bilvideo). Gränssnittet använder specifikationsfönster för rumsliga och bana frågor. Specifikationen och bildandet av dessa frågor varierar avsevärt; därför skapar gränssnittet specifika fönster för att hantera varje typ. Användare kan fråga det timliga innehållet i videor genom att kombinera dessa två typer av primitiva frågor med temporal predikat (före, under och så vidare). Användare kan också
Kucuktunc m.fl. REF föreslog en metod för mönstermatchning baserad på POS-taggar (Del-of-Speech).
A Natural Language-Based Interface for Querying a Video Database
{'venue': 'IEEE MultiMedia', 'journal': 'IEEE MultiMedia', 'mag_field_of_study': ['Computer Science']}