Key Frame Extraction with Attention Based Deep Neural Networks
Automatic keyframe detection from videos is an exercise in selecting scenes
that can best summarize the content for long videos. Providing a summary of the
video is an important task to facilitate quick browsing and content
summarization. The resulting photos are used for automated works (e.g.
summarizing security footage, detecting different scenes used in music clips)
in different industries. In addition, processing high-volume videos in advanced
machine learning methods also creates resource costs. Keyframes obtained; It
can be used as an input feature to the methods and models to be used. In this
study; We propose a deep learning-based approach for keyframe detection using a
deep auto-encoder model with an attention layer. The proposed method first
extracts the features from the video frames using the encoder part of the
autoencoder and applies segmentation using the k-means clustering algorithm to
group these features and similar frames together. Then, keyframes are selected
from each cluster by selecting the frames closest to the center of the
clusters. The method was evaluated on the TVSUM video dataset and achieved a
classification accuracy of 0.77, indicating a higher success rate than many
existing methods. The proposed method offers a promising solution for key frame
extraction in video analysis and can be applied to various applications such as
video summarization and video retrieval.
Samed Arslan, Senem Tanberk
# Dikkat Katmanli Derin Simir Aglari ile Anahtar Kare Tespiti

###### Abstract

Automatic keyframe detection from videos is an exercise in selecting scenes that can best summarize the content for long videos. Providing a summary of the video is an important task to facilitate quick browsing and content summarization. The resulting photos are used for automated works (e.g. summarizing security footage, detecting different scenes used in music clips) in different industries. In addition, processing high-volume videos in advanced machine learning methods also creates resource costs. Keyframes obtained; It can be used as an input feature to the methods and models to be used. In this study; We propose a deep learning-based approach for keyframe detection using a deep auto-encoder model with an attention layer. The proposed method first extracts the features from the video frames using the encoder part of the autoencoder and applies segmentation using the k-means clustering algorithm to group these features and similar frames together. Then, keyframes are selected from each cluster by selecting the frames closest to the center of the clusters. The method was evaluated on the TVSUM video dataset and achieved a classification accuracy of 0.77, indicating a higher success rate than many existing methods. The proposed method offers a promising solution for key frame extraction in video analysis and can be applied to various applications such as video summarization and video retrieval.

_Keywords -- Automatic Key Frame Extraction, Video Summarization, Deep learning, Learning With Attention Layers, Autoencoders._

## I Gris

Video analizi, gozetim, gelence ve e gitim gibi cok estiltila alanlardai uygulamalarla, son yillada giderek daha onemli bir aarstruma alan halh haling egldi. Anahtar kare cikarma, video analizinde ok onemli bir aadmr, cunku oemli olaylan veya, eylemleri yakalayan en biligilendrici karelerind seerek bir videonun iergicini ozetlemeye yardmci olur[1]. Diger bir deyisle, video anahtar kare cikarmann temel amaci, videoi iergiini temsil edecek video karelerini tespit etmektir.

Tespit edilecek ozet karelerin temsil ozellikleri elsalman alanlarna gore farkliklik posterebilmektedir. Ancak en genel kullanm senaryosu, video aksi 1eyrisindek farkli sahne ve vevre unsurlarnun tespit edilmesi veya genel aaktstasi nesne hareket hzlarndan daha farkl hizda hareket eden nesnelerlin tespit edilebildigi karelerin bulnumasdir.

Geleneskel anahtar kare cikartmaya yonelik yontemler genellikle, bulussal yontemlere veya belirli video iecrigiineb buyuk olclude bagli olabilen ve diger videolarda kullanlmak uzere genellenememeybilen el yapimu upgulamalara dayanr. But calalsmada, diskkatkat datmanna sahip derin bir otomatik kodlavslukullanarak anahtar kare cikarma icin yeni bir yaklasmm'erivuz. Kullanlacak model, anahtar kare cikarma icin
The _G_
ve gorenilen ozelliklerin yapsim analiz etrek icjn otomatik kodlayciralan da kullanabilir. Yeniden uretilebiliarliegvi e diger yontemlerle karslalstrmayu kolaylastrmak icin otomatik kodlaycialvin icin kullanlan mimarinin, egitim prosedurunun ve degerlendirme ilcumlerinin ayrnntli aciklamalarnn saglamak onemlidir.

### Derin Ogrenme Dikkat Kamanlar(Attention Layer)

Dikkat katmanlanl, goruntu ve video olusturma, metin ozetleme ve makine cevirisi gibi groverlende performanslarm artrmak icin otomatik kodlaycialara eklenebilen bir tur mekanizmadr[10].

Dikkat katmanlar, modelin ciktyla alaka duzeyine bagli olarak giri verlierinin farkh bollumlerine secici olarak odaklanmasam saglar. Bu, eikt icin onemine bagli olarak her giri gri dgesine bir agrlik atayarak ve bu agrliklar giri ogelerinin agrlikli bir toplamn insebalamak icin kullanarak yapnlr[11].

Otomatik kodlaycialarda, girdideki onemli ozellikleri secerek, vurgulayarak yeniden olusturlan ciktnn kalitesini artrmak icin diskat katmanlan kullanlabilir. Ornegin, goruntu olusturma, istencen ciktyn bagli olarak giri gornttsuintan farkh bolglelemine sceici olarak odaklamn3 icin diskat katmanl kullanlabilir. Metin ozetlemede, ozetin uzunibung ve iserigine bagli olarak giri belgesindeki onemi cumlelere veya anahtar sozciklere secici olarak odaklanmak icin dikkat katmanl kullanlabilir[12][13].

Otomatik kodlaycialarda kullanlabiliceek, kuresel dikkat, yerel dikkat ve kisisel dikkat gibi farkh t'urde dikkat katmanl varadr. Kuesel dikkat, tum grid dizisiin icin tek bir agrlik ssei hesalparken, yerel dikkat, girdi dizisinin farkh bollamleri icin farkh agrlik kumlerli hesalpar. Cok basli dikkat olarak dolinen kendi kendine dikkat, birden fazla agrlik setini paralel olarak hesalapayarak modelin giri verlierinin farkh volnerini yakalamasna olanak tanr.

Akademik calismalarda, otomatik kodlaycialardaki dikkat katmanlar, modelin goruntu ve video olusturma, metin ozetleme v makine gevrisi gibi estetili groverledki performansm atrtmak icin kullanlabilir. Aragtrmacilar, farkh iatrodi dikkat mekanizmalarnn kesfedebilir ve dogruluk, saskinnk veya F1 puan gibi olemlemleri kullanarak bunlarin etkililigini ogerlendirebilir[14].

### Kiumeleme Yontemleri

Kumeleme algoritmalar, veri noktalarm benzerliklerine grore gruplandrmak icin kullanlanl gozetemisz makine ogrenimi algoritmalarnn bir smnfidr. Kumelemenin amaci; grupe teiktleri hakkmda herhangi bir on biligi olmaskuzin, verilerde dogal gruplamalar veya kumeler bulmaktr[15].

Hiyerarsik kumeleme, bolm tabanli kumeleme, yoomuluk tabanli kumeleme ve model tabanli kumeleme dahil olmak uzere birkac tir kumeleme algoritmasi vardr. Bu algoritmalarnn bir, veri noktalarnn gruplandirmak icin farkli bir yaklasim kullanmr.

Hiyerarsik kumelemede, veri noktalar, mesafefierine veya benzerliklerine grore yinelemeli olarak kumeler halinde birleitstirliir. Bu, istenen sayda kumeyi elde etmek icin beliri bir yuksekklite kesilebelien dendrogram adu verilen agac benzeri bir yapylya sonuclanur[16].

K-means gibi bolm tabanli kumeleme algoritmalan, noktalar ile bir kume merkezleri kumesi arasmdaki mesafelere bagli olarak veri noktalarn sabit sayda kumeye boler. Merkezler, yakansamaya uslaslana kadar yinelemeli olarak guncellenir ve bu da verilerin kimlere bolminesijle sonuclanur[17].

DBSCAN gibi yogunluga dayali kumelame algoritmalar, veri alanunn yogun bolgelerinde bulunan veri noktalarnn daha distik yogunlukluk alanlarla ayarak gruplandnir. Bu, verilerin, yogunluguna bagli olarak degisen sekil ve boyutlarda kumelerle sonuclanr.

Gauss karsim modelleri (GMM) gibi model tabanli kumeleme algoritmalar, veri noktalarnn olaslik daglimlarnn, bir karsimndan uretiidigini varsayar ve dagulmalarn parametrelerini ve verilerdki kume saysimu tahmin etmek iginistatisikel sontemler kullanr.

Gorntu analizi, metin macneliligi ve sosyal agal anlizi gibi cestil alanlardaki verlieri analiz etmek icin kumeleme algoritmalar kullanlabilir. Aragtrmacilar, farkh t tutler kumeleme algoritmalarn kesfedebilir ve siluet katsayis, saflik veya entropi gibi metrikleri kullanark bunlarn etkililigini. Gierdi verileri, mesafe veya benzerlik olciusu vel agordinmann performansm optimize etmek icin kullanlanle herhangi bir inpparametre veya ayarlama yontemi dahil olmaskizere, kullanlal kumeleme algoritmasn net bir tammun saglamak onemlidir[18][19].

### Uzakk Metrikleri

Mesafe olemleri, ki veri noktasi arasundaki benzerligi veya farklhi olemek icin kullanl matematiksel sievelerdir. Makine ogrenimimde, mesafe olemleri genellikle ozellik vektorleri veya veri noktalarar arasundaki mesafeyi olemek icin kullanlvr ve genellikle kumeleme, smflandrma ve regresyongorevlerinde kullanlnr[20][21].

Oklid mesafesi, Manhattan mesafesi, kosinus mesafesi ver Mahalanobis mesafesi dahil olmak tizere estili mesafe olemleri veradr. Bu olemler her biri, ki veri noktasi arasundaki mesafeyi hesaplamak icin farkh bir formul kullanr.

Oklid mesafesi belki de en iyi bilinen mesafe metrigidir veiki veri noktasmda karsllik gelen ozellik degerleri arasundaki farklarn karelerinin toplamn karekoku olarak hesaplannr. Taksi mesafesi olarak dahilanen masafesi, karslik gelen ozellik degerleri arasmdaki mutlak farklamn toplamarak hesaplannr[22].

Kosinus mesafesi, iki vektor arasundaki aqmn kosinitsuni olcer ve genellikle iki belge veya metin paracagi arasundaki benzerligi olcmek icin dogal dil isleme gorevlerindekullanlnr[23]. Mahalanobis mesafesi, verilerdeki ozellik degerlerinin kovaryansm hesaba katar ve genellikle ozelliklery vokesk oranda iliskili odugunda kullanlnr.

Makine ogrenimi modellerinin performansm degerlendirmek, farkh modellerin veya algoritmalarnn performansm karslastmrn icin genellikle mesafe olemleri kullanlnr. Arastrmacilar, farkh tutde mesafe olemlerini
kesfedebilir ve dogruluk, F1 puan veya ROC egrisi altmadaki alan gibi olcimleri kullanarak bunlamn etkinligini degerlendirebilir. Matematiksel formul ve metrigin varsaymlarn veya smirlamalan da da hail olmak tizere, kullanlan mesafe metriginin net bir tanmm saglamak onemlidir[24].

### _Veri Kunesi ve lcerik_

TVSum (TV Ozeti), video ozeleteme arastrmasa icin halka acik bir veri kumesidir. Video ozeleteme algoritimalarnm degerlendirmek icin akademik makalenderde yaygn olarak Kullanlarn. Video ozeleteme, videonun en onemli iergicini yakalayan anahtar kareleri veya gekimleri secerek uzun bir videoenun ozlu ve temsili bir ozetiin otomatik olarak olusturma gorevidir[25].

TVSum veri seti, haberler, talk sovlar, spor, belgeseller ve gelence solvar dahil olmak tuzere estiti lturleri kapsayan 50 populer TV sovundan video klpler icerir. Veri kumesi, video ozeleteme algoritimalarim farkli baglamlarda degerlendirmek icin uygun halle getterin estiti gorultuler icerir. TVSum/daki her video klip, degerlendirme icin temel gerek sisevi goren, insanlar tarafindan olusturlan ozeletre islikendidirilir.TVSum veri kumesi asagdaki bilesenri iecirir.

**Videoolar:** Veri kumesi, birkac dakikadan birkac saate kadar degisen uzunluklarda MP4 formatnda video klipler icerir. Videolar, ook cesiti konlan v teurleri kapsar ve video ozeleteme arastrmasa icin estiti lierikler saglar.

**Insan tarafindan olusturlan ozeletz:** TVSum'daki her video, algoritmalar tarafindan olusturulan video ozeleterin kalitesini degerlendirmek icin temel gerek olarak kullanlan, insanlar tarafindan olusturulan bilden cozet ile lilsikelentrilir. Bu ozeletr, videolarn ana iceriginin kisa ve temsili aciklamalarm saglar.

**Video meta verileri:** TVSum ayrica her video icin soy adv, bolim baslig, yayn tarihi ve video siresi gibi bliglier dahil olmak tuzere metra veriler saglar. Bu meta veriler, baglamsal alan izijn veya videolam belltri kirterleg gore filtrelemek icin kullanlabililir.

TVSum veri seti, video ozeleteme algoritmalarm degerlendirmek ve kayaslamak icin akademik arastrmasalardra yaygn olarak Kullanlir. Arastrmacalarn F1 puan, ROUGE puanan veya video geri cagirma gibi ortak degerlendirmek cullerini kullanarak farkli algoritmalarm performansum karasilastrmasima olanak tanyan, insanlar tarafindan olusturulan zeferlee sahip standardlasttrlmns ve farkh videolar sunar.

### _Test Ortam Ve Onerlien Yontem_

### _D.1.1.Model_

Calsmada bir oto kodlayci kullanlmlstrr, girdi verilerini tipik darak daha dusik boyutlu bir gizli alana sikstrarak ve ardandan orijinal bicimine geri dondurerek yeniden yaplandirmak tizere eigtilmis bir tur sinir agidr.

Model mimarisi bir kodlayci ve bir kod zozucaden olusur. Kodlayci, (3, 64, 64) seklindeki giris verlierini alir, duzlestir verdrandan rleu'aktivasyon fonsiymaly birkac yogun katamada gevirir. Kodjaccumir ciktsi, gizli boyutunn (64) boyutuna sahip bir vektordur. Kod zozucu dana sonra skistrnlms gostreimi alr ve bir relu aktivasyon fonskiyonuna sahip yogun katamanlark kullanarak orijinal giris sekline geri dondurur.

Ayrica modelin kodimayci kismma dikkat katmann, elklemmistir. Dikkat katmann, kodlaycnn ciktsum alir, her zaman adim icim dikkat puanlarn hesalpar ve ardandan bu puanlar, dikkat agirkli bir temsil olusturmalx icin kodlayci ciktsuna augular. Ortaya elkakat agrlikat agirkli temsil daha sonra sabit boyutlu bir giktu intermek icin kuresel ortalama havuzlama kuklamanka kuklaman.

Model daha sonra Adam iyilestiriic ve ortalama kare hata kaybi sisevi kullanlarak derlenir ve dogrulanur.

#### D.1.2.Tespit Katmann

Bu adum, bir otomatik kodlayci ve kumeleme kullanan bir anahtar kare eikarma algoritmasm bir wygulamasdir. Algoritmann amacac, videodaki en onemli anlari ve olayalar yakalayan bir video sekansndan temsili kareler belirlemektir.

Ilk olarak, karelerli HSV renk uzayna donnsturerek, 64x64 piksel olarak yeniden boyutlandrarak ve piksel degerlerini 0 ila 1 aralalgunda normalestirerek en isler.

Ardmdan, ozellikleri ktimeler halinde gruplandirmak icin KMeans ktimeleem algoritmasm kullanur. Bu uygulamada ktime sayisi farkli sayilara ayarlanabilir, anck bu, belirli ugugulamaya bagli olarak ayarlanabilir.
Kumelame tamamlandiktan sorna algoritma, gzeilkesa aesmdan kume merkezine en yakn zareyi seerek her kume icin anahtar kareyi tanmlar. Bu anahtar kareler, orijimal dizidekli indeksleri ve ozellik gosterimlerlyle birlikte saklanr.

Genel olarak, bu algoritma, dizideki diger karelere benzerliklerine dayali olarak bir video diazisnden anahtar kareleri ayiklamann basit ama etkli bir yoludur. Ortaya gikan anahtar kareler, videoyu ozetlemek veya iergicinin temsili bir gorsel ozetemi saglamak gibi cestiti almaclar icin kululambalibir.

Burada kulanlan kumeleme algoritmalarnn kume sayssi parametresi aynn zamanda cikarlacak olan anahtar kare saysiam de beliflemektedir. Algoritmann saynar parametresine bagmmlibigolupdapund her vidocada aynn miklarda kare dolugu var saylacakttr. Bu durumada daha duragan videolarada anahtar kare sylasi daha az olacagamdan benzer karelerin tespitilie karslaslaslacakttr. Veya daha yuksek saydta tespitilie gereken durumlarda daha az sonuc uretilmis olacakttr. Bu durumlarm etkisini daha azaltmak icin tespitil denkarelern saysi sengelek kululamlanda shajskek beliflenip benzer karelerin temizlemensi isiemi yaphlazyus upyun gorulmistur. Bu islem icin bir uzaklik metriji ve uazklklar matrisi kulamlacakttr. Tespit edilen uazklklara gore birbirine yakin olan karelerden bir bulgu listesinden silinecek ve diger temsili tutulacakttr. Yakmlik surnn belirlerken isattistiskel given aralklan goz onnde bulundurulacak ve ortalama degerinden iki standart sapma daha disik uazklklta olan kareler birlestrilecektir.

\[\mu=\mathit{ordalama}\]

\[\sigma=\mathit{std.sapma}\]

\[uazklk<\mu-2*\sigma\rightarrow\mathit{birlestir} \tag{1}\]

### _Oicumleme Metodlam_

Oicumleme icin kulanlan veri setinin anahtar kareyjonde bir etiket bilgisi olmadigndan ciktunn degerlendirmesindeuzman gorus kullanlacakttr. Anahtar kare olarak behlerleneckk goruntunition video icerisande ver alan her sahneri tespit temesi, eger farkli sahneler yoksa goruntudecki buyuk degisiklikleri ve harekreleri seipt temesi beklenecketkir. Bu anlamda her video icin anahtar kareler icin kesti aralklari belirleneckek ve test giktsnun bu aralkta en az bir goruntu tespit edeblimis olmasb kellenecketkir. Elde edilecek veri ise her dogru tespit edilen ve tespit edilemeyen kareler icin hata matrisi ile degerlendirliecektir.

Hata matrisi, bir makine ogrenimi modelinin performansim degerlendirmek ijin kullanlan bir tablodur. Bir ikili smflandirma problemi icin gereck poztif (TP), gereck negtifi (TN), yanls pozitif (FP) ve yanlis negatif (FN) degerlendirmek inetem sindir.

Bir ikili smflandirma probleminde, pozitif ve negatif olnak tuzere iki olas sunf vardr. Hata matrisi, tahmin edilen smf etiketlerini gereck sumf etiketlerijke karslastmr ve her smuf icim dogru ve yanls tahminlerin saysusnn bir dokumnn saglar.

Matris tipik olarak dikey eksende gereck smf etiketleri ve yatayak eskende talmin edilen smf etiketleri ile bir kare olarak temsil edilir. Matrisi dort degeri asagdaklier temsil eder:

Gereck pozitifler (TP): aslinda pozitif olan ve pozitif olarak dopru bir sekilde talmin edilen orenklerin sayssi

Yanls pozitifler (FP): aslinda negatif olan anack yanlshkila pozitif olarak tahmin edilen orenklerin saysi

Yanls negatifler (FN): aslinda pozitif olan anack yanlshkila negatif olarak tahmin edilen orenklerin saysi

Gereck negatifler (TN): gereckte negatif olan ve dogru bir sekilde negatif olarak tahmin edilen orenklerin saysi

Matristeki degerlerler, dogruluk, kesinlik, geri cagirma ve F1 puan gibi bir makine ogrenimi modelinin performansim degerlendirmek icin yaygnamak kullananl estiil ojcitteri heaspalmalak icin kullanlablijli. Bu metrikler, modelin ne kadar iyi performansgerl diginetz dair icgoriler saglayabilir ve jijlestirme alanlarnn belirlenmesine yardmci olabilir.

## III Test

Kesinlik, modelin pozitif orenkleri dogru bir sekilde smifflandirma yetenegini gosterr. Bu durumda, sunf 0 icin kesinlik 0,96dir, yani model pozitif simflandirlan tim orenklerin %96% som dogru bir sekilde smflandrul. Anack anahtar kareeigt youtremleri dogas regi dengeszis smf problemlerl odiugundan, normal smf icin degerlendirme yapmak anlamsiz olacaktur. Bu sebeple tespit edilen karelerin dogruluklarm inecelemek gerekir. Smf l ivin kesinlik 0,78dir, yani model pozitif olarak smflandrulran orenklerin %78'ini orenkleri dogru bir sekilde tunmalma yetenegini gosterr. Smf 1 icin duyarlik 0,75tir, yani model smf l'e at tim orenklerin %75ini dogru bir sekilde tanmald. F1 puan, kesinlik ve duyarlik arasandaki dengeyi gosteren bir olcuttur. Bu durumda, smf l icin F1 puan
## IV Sonuc

Bu calismada, dikkat katmannna sahip derin bir otomatik kodlayici kullanan bir anahtar kare qikarma yontemi onerildi. Yontem, onerilen yaklasmum etkinligini posteren snnflandrma gorevinde 0,771ik bir basar ornan elde etti.

Yontem, once otomatik kodlayici kollayici kismni kullanarak video karelerinden ozelliklerini cikarnr ve arndndan K-means kumelemeyi kullanarak bu ozellikleri kumeler. Anahtar kareler daha sonra, kime merkzezine olan yakmnlklarna grore her bir kumeden secilir. Otomatik kodlayicikum kodlayici kismmda dikkat katmannn kullanlmast, video karelerindeki en belirgin ozelliklerin vurgulammasma yardmuc olur ve bu, nanahtar kare qikarma islemini doglujun utrrm.

Deneyel sonuclarmz, onerilen yontemin, anahtar kare cikarma icin meveut yontemler kadar iyi performans osterdigitalini ve video ozerleme ve eylem tanma gibi cestiltalandra potansivel viguamalara sahip doluguunu gostermektedir. Smflandrma gorevindeki 0.77 basar ornan, onerilen yontemin oldukca dogru ve etkili olduguunu gostermektedir. Farkli modellerin simulasyon snouclarmn arastrnlmast, bu makalede onerilen modelin iy bir performans ogsterebilecegini ortaya koymustur.

Onerilen yontemimz, genellikle bulussal yontemlere veya videoonn anlamsal ierigini yakalayamayan dusuk duzeyli ozellikere dayanan mevcut anahtar kare qikarma yontemlerinin snirlamalarnnismn cikar. Dikkat katmanna sahip derin bir otomatik kodlayici kullanarak, yontemimiz video karelerindekienen ozge parpan bliglieri yakalayan tist duzey ozellikleri ayklayabilir. Ayraca etentimaszdir, bu daan otekelkelabil ve kock estilti video analizi gorevlierne upygualbilir kilar.

Gelecekteki calsmalarmzda, ses ve hareket biliglieri gibi ek ozellikleri dahil ederek yontemimizin performansmun dda da gelsitrimennin yollan kesfedilecetkir. Yontemimizin etkinligini spor videolarn, haber videolar ve gozetleme videolarn gibi farkli video tulerti zuerinde de arastrmass planlanmaktadir. Onerilen yontemin video analizinde anahtar kare cikarma icin umut verici bir gozum sagladgi v video ozetleme ve video alma(retrieval) gibi cesium upyugulamalara uygulanabilecegi gorulmektedir.

Sonuc olarak, dikkat katmanna sahip derin bir otomatik kodlayici kullanan onerilen anahtar kare cikarma yontemi, video analizi iicin umut verici bir yaklasmdir ve cok estilti alanlarda potansivel uguymalara sahiptir. Bu yontemin aktif bir arastrrma alam olmaya devam edecegine ve performansim ve dogorulaguunut arrtrmak icin daha fazla jijlestirme yapulabilecegine inamyoruz.

Kaynaklar
