Abstract-sannolikhetshypotestäthet (PHD) filter baserat på sekventiell Monte Carlo (SMC) approximation (även känd som SMC-PHD filter) har visat sig vara en lovande algoritm för multipeaker spårning. Men det har en tung beräkningskostnad som överlevande, lekte, och födda partiklar måste distribueras i varje ram för att modellera tillstånd talarna och att gemensamt uppskatta det varierande antalet talare med sina stater. I synnerhet är den beräknade kostnaden främst orsakas av de födda partiklarna eftersom de behöver förökas över hela bilden i varje ram för att upptäcka den nya högtalarens närvaro i sikten på den visuella spåraren. I detta dokument föreslår vi att använda ljuddata för att förbättra det visuella SMC-PHD-filtret (V-SMC-PHD) genom att använda ankomstvinklarna i ljudkällorna för att bestämma när man ska föröka de födda partiklarna och omfördela de överlevande och lekande partiklarna. Spårningsnoggrannheten hos den audiovisuella SMC-PHD-algoritmen (AV-SMC-PHD) förbättras ytterligare genom att använda en modifierad medelskiftande algoritm för att söka och klättra densitetsgradienter iterativt för att hitta toppen av sannolikhetsfördelningen, och den extra beräkningskomplexitet som införs genom medelskiftning styrs med en gles provtagningsteknik. Dessa förbättrade algoritmer, namngivna som AVMS-SMC-PHD respektive sparse-AVMS-SMC-PHD, jämförs systematiskt med AV-SMC-PHD och V-SMC-PHD baserat på AV16.3, AMI och CLEAR dataset. Index Terms-Audio-visuell spårning, medel-skift, multi-högtalare spårning, sannolikhet hypotes densitet (PHD) filter, sekventiell Monte Carlo (SMC) implementation, glesa partiklar.
Utmed samma tankegång föreslog REF en genomsnittlig sekventiell Monte Carlo PHD-algoritm (SMC-PHD) som använde ljudinformation för att förbättra prestandan hos en visuell spårare.
Mean-Shift and Sparse Sampling-Based SMC-PHD Filtering for Audio Informed Visual Speaker Tracking
{'venue': 'IEEE Transactions on Multimedia', 'journal': 'IEEE Transactions on Multimedia', 'mag_field_of_study': ['Computer Science']}