Museet blev stiftet i Brøndums Hotels spisesal i Skagen den 20. oktober 1908. Apoteker Victor Chr. Klæbel, hotelejer Degn Brøndum og malerne Michael Ancher, P.S. Krøyer og Laurits Tuxen blev valgt ind i museets første bestyrelse. Opgaven var at samle kunstværker af skagensmalerne og skaffe økonomiske midler til opførelsen af en museumsbygning. I somrene 1907-1909 udstillede skagensmalerne i Teknisk Skole. Efter P.S. Krøyers død i 1909 blev hans bolig i Skagen Plantage taget i anvendelse som museum. I 1919 skænkede Degn Brøndum den gamle have ved Brøndums Hotel til Skagens Museum. Her påbegyndtes museumsbyggeriet i 1926 efter tegninger af arkitekt Ulrik Plesner. Byggeriet var finansieret af private og af fonde. De største bidragydere talte Degn Brøndum, Laurits Tuxen og Ny Carlsbergfondet. Den nye museumsbygning blev indviet den 22. september 1928. Museets samling bestod på det tidspunkt af ca. 325 kunstværker. Mange af dem var gaver fra kunstnerne. I 1981 blev udstillingslokalerne forøget med en tilbygning tegnet af arkitekt og kongelig bygningsinspektør Jacob Blegvad. Samme arkitekt tegnede også museets seneste tilbygning, som blev indviet i 1990. Den blev opført med bistand fra Aage V. Jensens Fonde og forbedrede publikumsfaciliteterne i væsentlig grad. I perioden 1997-2015 havde museets administration til huse i den gamle Teknisk Skole, men har siden da haft kontorer på første sal af den nye museumstilbygning.  Samlingerne I dag råder organisationen Skagens Kunstmuseer over ca. 8.000 kunstværker samt en stor række personlige effekter, genstande og møbler tilhørende skagensmalerne. Samlingen rummer centrale værker af alle Skagensmalerne, heriblandt Anna og Michael Ancher, Marie og P.S. Krøyer, Laurits Tuxen, Viggo Johansen, Christian Krogh, Carl Locher og Holger Drachmann.