Vi presenterar en ny metod för att anpassa en sekvens av instruktioner till en video av någon som utför en uppgift. I synnerhet fokuserar vi på matlagningsdomänen, där instruktionerna motsvarar receptet. Vår teknik bygger på en HMM för att anpassa receptstegen till den (automatiskt genererade) talutskriften. Vi förfinar sedan denna anpassning med hjälp av en toppmodern visuell matdetektor, baserad på ett djupt konvolutionellt neuralt nätverk. Vi visar att vår teknik överträffar enklare tekniker baserade på nyckelordsspaning. Det möjliggör också intressanta applikationer, såsom automatiskt illustrera recept med nyckelramar, och söka i en video för evenemang av intresse.
REF antog en HMM-modell för att anpassa receptstegen till berättandet.
What's Cookin'? Interpreting Cooking Videos using Text, Speech and Vision
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}