汉高祖公元前195年地图

汉武帝时将全国划分为13个监察区，今山西分别归属并州刺史部的太原、上党、雁门、代等4郡，司隶部（京畿长安范围）的河东郡，朔方刺史部的西河郡管辖。东汉朝沿袭西汉体制，山西分属并州、司隶校尉、幽州，东汉建安十八年(213)并州并入冀州。

西汉时期山西属于并州、朔方、司隶部

三国时魏复置并州，山西属并州的太原郡、上党郡、西河郡、乐平郡、新兴郡、雁门郡；司州的平阳郡、河东郡和幽州的代郡。

三国时期山西属于魏国并州、司州、幽州

西晋统一三国后，沿袭魏制，山西分属于并州、幽州、司州。东晋十六国时，先后属前赵、后赵、前燕、前秦、后秦、西燕、后燕、匈奴部族首领赫夏。南北朝时，先后属北魏、东魏、北齐、北周。

东晋时期山西分属于前秦、前燕

隋初始，取消了郡一级建制，在要冲诸州设总管府，以州刺史兼总管，统领邻近数州。山西境内分属于并州、代州、隰州、朔州四刺史。后来又改州为郡。山西境内分属太原郡、定襄郡、马邑郡、雁门郡、娄烦郡、西河郡、离石郡、上党郡、长平郡、临汾郡、龙泉郡、文城郡、河东郡、正平郡14郡，山西境内置有90余县。