Lokalisering av objekt i det verkliga 3D-utrymmet, som spelar en avgörande roll i scenförståelse, är särskilt utmanande med tanke på endast en RGB-bild på grund av den geometriska informationsförlusten under bildprojektion. Vi föreslår MonoGRNet för amodal 3D-objektets lokalisering från en monokulär RGB-bild via geometriskt resonemang i både den observerade 2D-projektionen och den oobserverade djupdimensionen. MonoGRNet är ett enda, enhetligt nätverk som består av fyra uppgiftsspecifika delnätverk, som ansvarar för 2D-objektdetektering, till exempel djupuppskattning (IDE), 3D-lokalisering och lokal hörnregression. Till skillnad från pixel-nivå djupuppskattning som behöver per-pixel kommentarer, föreslår vi en ny IDE-metod som direkt förutser djupet av mål 3D gränsboxens centrum med sparsamt övervakning. 3D-lokaliseringen uppnås ytterligare genom att man beräknar positionen i de horisontella och vertikala dimensionerna. Slutligen, MonoGRNet är gemensamt lärt genom att optimera platser och poser av 3D avgränsande rutor i det globala sammanhanget. Vi visar att MonoGRNet uppnår toppmoderna prestanda på utmanande datauppsättningar.
MonoGRNet REF är den senaste tekniken för indata enbart från RGB, med hjälp av ett CNN som består av fyra delnätverk för 2D-detektering, t.ex. djupuppskattning, 3D-platsuppskattning respektive lokal hörnregression.
MonoGRNet: A Geometric Reasoning Network for Monocular 3D Object Localization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}