Syfte Realtid kirurgisk verktygsspårning är en kärnkomponent i framtiden intelligent operationsrum (OR), eftersom det är mycket avgörande för att analysera och förstå kirurgiska aktiviteter. Nuvarande metoder för att spåra kirurgiska verktyg i videor måste tränas på data där de rumsliga positionerna för verktygen är manuellt kommenterade. Det är svårt och tidskrävande att ta fram sådana träningsdata. Istället föreslår vi att använda enbart binär närvaro anteckningar för att träna en verktyg tracker för laparoskopiska videor. Metoder Den föreslagna metoden består av en CNN + Convolutional LSTM (ConvLSTM) neurala nätverk tränas end to end, men svagt övervakad på verktyg binär närvaro etiketter endast. Vi använder ConvLSTM för att modellera tidsberoendena i de kirurgiska verktygens rörelse och utnyttja dess spatiotemporala förmåga att jämna ut toppaktiveringarna i lokaliseringsvärmekartorna (Lh-kartor). Vi bygger en baslinje tracker på toppen av CNN-modellen och visar att vår strategi baserad på ConvLSTM överträffar baslinje i verktygsnärvaro upptäckt, rumslig lokalisering, och rörelsespårning med över 5,0%, 13,9%, respektive 12,6%. Slutsatser I det här dokumentet visar vi att binära närvaroetiketter är tillräckliga för att utbilda en modell för djupinlärning med hjälp av vår föreslagna metod. Vi visar också att ConvLSTM kan utnyttja spatiotemporal konsekvens av på varandra följande bildramar över en kirurgisk video för att förbättra verktyg närvaro upptäckt, rumslig lokalisering, och rörelse spårning.
En metod baserad på CNN + Convolutional LSTM (ConvLSTM) tränades ända till slutet för verktyget närvarodetektion, rumslig lokalisering och rörelsespårning REF.
Weakly supervised convolutional LSTM approach for tool tracking in laparoscopic videos
{'venue': 'International Journal of Computer Assisted Radiology and Surgery', 'journal': 'International Journal of Computer Assisted Radiology and Surgery', 'mag_field_of_study': ['Medicine', 'Computer Science']}