Som amatør boksede Robert Larsen for IF Sparta. Han boksede i samme periode som datidens store danske sværvægtsnavn Søren Petersen, der i starten af 1920'erne var dominerende i dansk sværvægtsboksning for amatører. Det lykkedes imidlertid Robert Larsen af vinde det danske mesterskab i sværvægtsboksning tre gange i årene 1922-24. Robert Larsen repræsenterede Danmark ved OL i 1924 i Paris, hvor han sammen med Søren Petersen stillede op i sværvægt. Han vandt sin første kamp på diskvalifikation over en polak, men tabte den næste kamp i kvartfinalen, hvor han tabte til Henk de Best fra Holland.  Professionel karriere Efter OL blev erklærede Robert Larsen sig professionel, men han måtte vente med debuten til den 10. juli 1925, hvor han i Aalborg mødte sin gamle amatørrival OL-sølvvinderen Søren Petersen i en kamp over 15 omgange. Robert Larsen tabte debutkampen, men opnåede året efter uafgjort i en returkamp over seks omgang i København. Efter de første otte kampe (4 sejre, 2 nederlag og to uafgjorte), der blev bokset i Skandinavien opnåede Robert Larsen en kamp i Hamborg mod den stærke tysker Rudi Wagener, som Robert Larsen opnåede en imponerende uafgjort imod. Næste kamp var mod den tyske mester i letsværvægt Max Schmeling. Kampen mod Schmeling blev bokset den 8. maj 1927 i Frankfurt, hvor Robert Larsen blev udbokset af den kommende verdensmester i sværvægt, men dog holdt sig på benene i de ti omgange som kampen varede. I den efterfølgende returkamp et par måneder senere i Berliner Sportpalast blev Larsen dog slået ud af Schmeling. Robert Larsen boksede herefter en række kampe i 1927, men tabte dem alle, og efter endnu et nederlag i 1928 var han inaktiv, indtil han i 1930 vendte tilbage til bokseringen. Comebacket var dog ikke succesfuldt og efter to nederlag i to kampe indstillede Robert Larsen karrieren. Anders Petersen opnåede 17 professionelle kampe, hvoraf blot 4 blev vundet (1 før tid), 11 tabt (3 før tid) og 2 endte uafgjort.