Shanxi hører til den kinesiske kulturs vugger. Det tidlige Xia-dynastiet udviklede sig her. Særlig var den frugtbare del af Shanxi en del af dette kulturelle kerneområde. Arkæologiske fund i den nordlige del af provinsen tyder på  at området kom ind under den kinesiske kulturkerne under Zhou-dynastiet (1100-771 f.Kr.) Det meste af Shanxi var en del af riget Jin, men ved indledningen af de stridende staters tid i år 403 f.Kr. blev området delt mellem staterne Han, Zhao og Wei. Efter Kinas samling under Qin Shihuangdi blev området en vedvarende del af Kina. Under Han-dynastiet begyndte minedriften efter kul i området omkring Datong. I 1556 blev Shanxi også ramt af det store jordskælv der har fået navn efter nabopovinsen: Jordskælvet i Shaanxi. I 1900 spredte bokseroprøret sig ind i Shanxi, og efter revolutionen i 1911 blev provinsen kontrolleret og genopbygget af militærguvernøren Yan Xishan (Yen Hsi-shan). Fra 1937 til 1945 var Shanxi okkuperet af  japanerne. Efter krigen kom Yan igen til magten, men måtte give den fra sig da kommunistiske styrker kom til magten efter at Mao Zedong trak sig ud af baseområdet omkring Yan'an i det nordlige Shaanxi. Yan flygtede i  1949 til Taiwan, hvor han blev statsminister.