Lokalisering av objekt i det verkliga 3D-utrymmet, som spelar en avgörande roll i scenförståelse, är särskilt utmanande med tanke på endast en RGB-bild på grund av den geometriska informationsförlusten under bildprojektion. Vi föreslår MonoGRNet för amodal 3D-objektets lokalisering från en monokulär RGB-bild via geometriskt resonemang i både den observerade 2D-projektionen och den oobserverade djupdimensionen. MonoGRNet är ett enda, enhetligt nätverk som består av fyra uppgiftsspecifika delnätverk, som ansvarar för 2D-objektdetektering, till exempel djupuppskattning (IDE), 3D-lokalisering och lokal hörnregression. Till skillnad från pixel-nivå djupuppskattning som behöver per-pixel kommentarer, föreslår vi en ny IDE-metod som direkt förutser djupet av mål 3D gränsboxens centrum med sparsamt övervakning. 3D-lokaliseringen uppnås ytterligare genom att man beräknar positionen i de horisontella och vertikala dimensionerna. Slutligen, MonoGRNet är gemensamt lärt genom att optimera platser och poser av 3D avgränsande rutor i det globala sammanhanget. Vi visar att MonoGRNet uppnår toppmoderna prestanda på utmanande datauppsättningar.
MonoGRNet REF förutspår 3D-objektets lokalisering från en monokulär RGB-bild med tanke på geometriskt resonemang i 2D-projektion och den oobserverade djupdimensionen.
MonoGRNet: A Geometric Reasoning Network for Monocular 3D Object Localization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}