Den senaste tidens framgångar med semantiska segmenteringsstrategier på krävande vägkörningsdata har väckt intresse för många relaterade tillämpningsområden. Många av dessa applikationer innefattar realtidsprognoser på mobila plattformar som bilar, drönare och olika typer av robotar. Realtid setup är utmanande på grund av extraordinär computational komplexitet inblandade. Många tidigare verk tar itu med utmaningen med anpassade lättviktsarkitekturer som minskar beräknings komplexiteten genom att minska djup, bredd och lagerkapacitet med avseende på allmänna ändamål arkitekturer. Vi föreslår ett alternativt tillvägagångssätt som ger betydligt bättre resultat inom ett brett spektrum av databudgetar. För det första förlitar vi oss på en lättviktig allmän arkitektur som huvudigenkänningsmotor. Sedan använder vi lättviktsuppampling med sidoanslutningar som den mest kostnadseffektiva lösningen för att återställa prognosupplösningen. Slutligen föreslår vi att man utvidgar det mottagliga fältet genom att samla gemensamma funktioner vid flera resolutioner på ett nytt sätt. Experiment på flera vägkörningsdata visar en betydande fördel med det föreslagna tillvägagångssättet, antingen med ImageNet förträngda parametrar eller när vi lär oss från grunden. Vår Cityscapes testinlämning med titeln SwiftNetRN-18 levererar 75,5% MIoU och uppnår 39,9 Hz på 1024×2048 bilder på GTX1080Ti.
Vi baserar därför vår forskning på en ny semantisk segmenteringsmodell REF som uppnår ett bra förhållande mellan noggrannhet (75,5 mIoU Cityscapes test) och hastighet (39 Hz på GTX1080Ti med 2MP ingång).
In Defense of Pre-Trained ImageNet Architectures for Real-Time Semantic Segmentation of Road-Driving Images
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}