Arkæologiske fund i den nordlige del af provinsen tyder på  at området kom ind under den kinesiske kulturkerne under Zhou-dynastiet (1100-771 f.Kr.) Det meste af Shanxi var en del af riget Jin, men ved indledningen af de stridende staters tid i år 403 f.Kr. blev området delt mellem staterne Han, Zhao og Wei.