Krydda steken med salt och peppar. Lägg biffen försiktigt i pannan. Vänd biffen till andra sidan. Låt det vila och njut av den läckra biffen. Figur 1: VideoBERT-text-till-video-generering och framtida prognoser. (Above) Med tanke på en del recepttext indelad i meningar, y = y 1:T, genererar vi en sekvens av videopolletter x = x 1:T genom att beräkna x * t = arg max k p(x t = k-y) med hjälp av VideoBERT. (Nedan) Med en video token, visar vi de tre bästa framtida polletter prognostiserade av VideoBERT på olika tidsskalor. I detta fall, VideoBERT förutsäger att en skål med mjöl och kakao pulver kan bakas i en ugn, och kan bli en brownie eller muffins. Vi visualiserar videopolletter med hjälp av bilderna från träningssetet närmast centroider i funktionsutrymme. Självövervakad inlärning har blivit allt viktigare för att utnyttja mängden omärkta data som finns på plattformar som YouTube. Medan de flesta befintliga metoder lär sig låg nivå representationer, föreslår vi en gemensam visuell-lingvistik modell för att lära sig hög nivå funktioner utan någon uttrycklig övervakning. I synnerhet, inspirerad av sin senaste framgång i språkmodellering, bygger vi på BERT-modellen för att lära sig dubbelriktade gemensamma distributioner över sekvenser av visuella och språkliga polletter, som härrör från vektorquantization av videodata och off-the-shelf taligenkänningsutgångar, respektive. Vi använder VideoBERT i många uppgifter, inklusive åtgärdsklassificering och videotextning. Vi visar att det kan tillämpas direkt på openvokabulary klassificering, och bekräftar att stora mängder utbildningsdata och cross-modal information är avgörande för prestanda. Dessutom överträffar vi hjärtats tillstånd på videotextning, och kvantitativa resultat verifierar att modellen lär sig semantiska funktioner på hög nivå.
Till exempel, VideoBERT REF tillämpat BERT för att lära sig en bidrectional gemensam distribution över kvantiserade videoram funktioner och språkliga polletter från video-text par.
VideoBERT: A Joint Model for Video and Language Representation Learning
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}