Da Luleå første gang blev nævnt på skrift i året 1327, lå den hvor den nuværende Gammelstad ligger. Landsbyen udviklede sig efterhånden til en markedsplads og centrum for et kirkesogn, der dengang omfattede næsten hele Norrbotten. Allerede i det 14. århundrede blev der bygget en kirke af sten – den største nord for Uppsala – og rundt om kirken opstod der en kirkelandsby. Byen blev grundlagt i 1621 af Gustav II Adolf og samme år fik byen sine købstadsrettigheder. Den gamle havn var for lavvandet, og byens borgere søgte derfor om at få byen flyttet, hvilket de fik tilladelse til i 1648. Fra 1649 blev byen flyttet ud til udhavnen som allerede var bygget. Der blev lavet en byplan og bortset fra en opstramning af gaderne i 1790 er den oprindelige byplan bevaret. Man havde dog svært ved at få byen til at blive større. Den blev hærget af brande 1653 og 1657 og en stor del af indbyggerne flyttede tilbage til Gammelstad og kun gennem statens indgribning kunne indbyggerne tvinges til at flytte tilbage. Det Bottniska handelstvånget forsinkede byens udvikling, og først efter at det blev ophævet 1765 kunne Luleå egynde at vokse, men først meget langsomt. 1805 havde byen 947 indbyggere. 1856 blev byen residensstad i Norrbottens län og havde da omkring 1.400 indbyggere. De første industrier voksede frem omkring 1860. 11 juni 1887 blev stor dele af byen ødelagt af en brand. Mellem 1891 og 1895 blev der i Luleå bygget blandt andet elværk, politistation og brandstation. Et epidemisygehus blev indviet 1894. Malmbanen mellem Gällivare og Luleå stod færdig i 1888 og byen blev dermed udskibningshavn for jernmalm fra Malmberget. Indenfor en kort tid opstod der nye forstæder, som Bergvikene, Svartöstaden, Skurholmen og Bergnäset. Svartöstaden og Skurholmen blev en del af byen i 1933. Parallelt med havnens udvidelse voksede Luleå som industriby, med etableringen i 1887 af et værft med tilhørende værksteder, 1906 et stålværk i Karlsvik, 1912 Statens Järnvägars værksteder i Notviken og en papirfabrik i Karlshäll. 1902 grundlagdes Luleå Teglværk som lå i Marieberg i Södra Sunderbyn og 1908 Luleå Bryggeri, og 1926 Munksunds AB. 1943 åbnede Norrbottens Järnverk AB et stålværk på Svartön, som i 1950erne havde 1.500 ansatte. Fra 1940 til 1980 var Luleå en af Sveriges hurtigste voksende byer. I denne periode blev der også bygget flere nye boligkvarterer. Luleå tekniske universitet startede i 1971 på halvøen Porsön, dengang under navnet Højskoleenheden i Luleå. Efter kommunesammenlægningen i 1969 blev nærområderne Gammelstad og Bergnäset en del Luleå by.