Olsen startede sin karriere i den lokale klub Alsønderup Idrætsforening i Hillerød, inden han i en alder af 12 skiftede til FC Nordsjælland.  FC Nordsjælland Kantspilleren blev første gang udtaget til truppen i en førsteholdskamp den 17. juli 2017 i en kamp mod Odense Boldklub, hvor han sad på bænken hele kampen. Han fik sin debut for FC Nordsjælland den 23. juli 2017 i en alder af 17 år, da han startede på bænken, inden han erstattede Emiliano Marcondes i det 95. minut i en 3-2-sejr over Brøndby IF i Superligaen. Fem dage senere spillede han 72 minutter i DBU Pokal-kamp mod Vejgaard Boldspilklub, hvor han både scorede og lavede en assist i en 0-4-sejr ude.  Han blev snart en vigtig spiller for klubben, og med 22 mål i Superligaen i sæsonen 2018-19 kom han i søgelyset hos flere udenlandske klubber.  Bologna Det blev Bologna F.C. 1909, der 24. juli 2019 kunne offentliggøre, at klubben havde skrevet kontrakt med Andreas Skov Olsen.