Som amatør boksede Preben Rasmussen for bokseklubben CIK. Han vandt københavnsmesterskabet i letvægt i 1961 og i letweltervægt 1963-65. Han vandt det danske mesterskab i letweltervægt i 1963 og fik samme år sølv ved de nordiske mesterskaber i samme vægtklasse. Han vandt atter DM i 1964 og blev samme år udtaget til at repræsentere Danmark under de Olympiske Lege i Tokyo. Ved OL mødte Rasmussen i turneringens første runde den afrikanske mester, ghaneseren Eddie Blay, der besejrede Rasmussen med dommerstemmerne 5-0. Blay vandt bronze ved turneringen og besejrede efterfølgende som professionel bl.a. danskerne Jørgen Hansen og Christian Larsen. Efter OL skiftede Preben Rasmussen i 1965 til IF Sparta, og vandt samme år DM og herefter det nordiske mesterskab, hvorefter han blev udtaget til EM i amatørboksning i Østberlin. Ved EM nåede Preben Rasmussen finalen, hvor han dog tabte til den olympiske mester polakken Jerzy Kulej, hvorefter Preben Rasmussen fik sølvmedalje.  Professionel karriere Preben Rasmussen vandt i sin professionelle debut på point over franskmanden Michel Bisseux i en kamp, der fandt sted den 16. juni 1965 ved et stævne i KB Hallen. Han vandt sine første 6 kampe inden han den 3. februar 1966 mødte tuneseren Sion Lellouche, der kom til kampen med kun to tidligere nederlag i sine forudgående 13 kampe. Lellouche overlistede Rasmussen med en hurtig højre til kæben allerede i 1. omgang, der sendte Preben Rasumussen til tælling. Han kom op på 8, men blev talt ud af kamplederen 90 sekunder inde i kampen. Preben Rasmussen fik dog karrieren på ret køl igen, og blev noteret for en stribe sejre i den resterende del af 1966. Den 2. februar 1967 mødte Rasmussen italieneren Francesco Caruso, der godt et år tidligere havde givet Børge Krogh problemer, og som forinden havde gået 10 omgange med den kommende verdensmester Bruno Arcari. Preben Rasmussen beviste, at han havde udviklet sig som bokser, og dominerede kampen, som han vandt på point, og høstede stort bifald fra publikum. Senere på året besejrede han den tidligere franske mester og EM-udfordrer Leon Zadourian, der også tidligere havde tabt til Børge Krogh, ligesom han stoppede landsmanden Leif Schmücker. Den 7. marts 1968 mødte Rasmussen den tidligere europamester finnen Olli Maeki og opnåede uafgjort. Preben Rasmussen jagtede en titelkamp mod Pedro Carrasco, der året forinden havde taget titlen fra Børge Krogh, men trods en stribe sejre rykkede karrieren ikke afgørende. Den 2. maj 1968 mødte Rasmussen nordmanden Tore Magnussen, der ligeledes jagtede en EM-kamp. Preben Rasmussen var i gulvet i 1. omgang, og tog stående tælling i 7. på point, men fik skrabet en pointsejr sammen efter 8 omgange. Berlingske Tidende beskrev sejren som værende i orden, hvorimod Politiken mente, at der var tale om en hjemmebanesejr. I en forkamp til Tom Bogs’ EM-kamp mod Lothar Stengel den 12. september 1968 i Idrætsparken i København tabte Preben Rasmussen til den nord-irske bokser Jim ”Spike” McCormack, der tidligere samme år havde vundet over Børge Krogh, da denne ikke kunne fortsætte på grund af en skade. Preben Rasmussen vandt efterfølgende 3 kampe uden at imponere, og mødte herefter den 6. marts 1969 englænderen Peter Quinn, der slog Preben Rasmussen ud i 2. omgang af det, der blev han sidste kamp. Preben Rasmussen opnåede som professionel 33 kampe, hvoraf han vandt de 29 (3 før tid), tabte 3 (2 før tid) og fik én uafgjort.