Rasmussen skrev under på en treårig kontrakt med IK Start i august 2013 efter at have spillet for Lyngdal. Han fik sin debut i Start, da han blev skiftet ind i cupopgøret mod Høllen den 24. april 2014. I en alder af 16 år og 342 dage fik Rasmussen sin debut i Eliteserien mod Sandnes Ulf den 2. november 2014, da han blev skiftet ind i stedet Kristoffer Ajer efter 70 mintter. En måned efter Tippeliga-debuten blev Rasmussen rykket op i førsteholdstruppen, hvor han samtidig forlængede sin kontrakt frem til 2017-sæsonen. Den 15. juli 2016 blev det offentliggjort, at Rasmussen skiftede til Nordsjælland, hvor han skrev under på en fireårig kontrakt.