明洪武五年(1372年)今境大部为播州宣抚司，属四川行省，十五年(1382年)改属贵州都司，二十七年(1394年)复改属四川承宣布政使司。今境东部为思南府和石阡府所辖，属贵州行省。

明万历二十八年（1600年）“平播之役”后，取消土司制度，实行“改土归流”，于次年分播州为遵义、平越两个“军民府”，分别隶属四川、贵州两省。万历二十九年(1601年)改置遵义军民府，并徙治宣慰司西白田坝。

清康熙年间，播州宣抚司改称遵义府。今遵义市大部分地域属遵义府，隶属四川省。东部部分地域属石阡府、思南府、平越州，隶属贵州省。

清雍正五年（1727年），遵义府由四川省划归贵州省管辖。雍正年间，云贵总督鄂尔泰提出贵州服务面积小经济实力弱，把黔北粮仓美誉的遵义、真安、绥阳、桐梓、怀仁，一府五州县划给了贵州，帮助贵州的发展。而属于贵州的永宁县，因为离府城太远就与四川的叙永县合并。因为永宁有龙安营的驻防，所以永宁地区又称为龙安。贵州用一个县换了四川遵义一府四州县，四川感觉是是吃了大亏，所以在黔北地区和叙永地区，民间就流传了这么一个顺口溜：四川人生得憨，遵义换龙安。

民国初年，废除“府”的建制，今境隶属黔中道。

民国24年（1935年），贵州省设11个行政督察区，黔北十余县为第五行政督察区。

1955年的遵义专区

1949年11月，遵义解放，“第五行政督察区”改为遵义专区，以原遵义县城区为基础新建遵义市 。专署驻遵义市，辖遵义市（由遵义县析置）及遵义（驻遵义市）、绥阳（驻洋川镇）、正安（驻凤仪镇）、道真（驻土溪场）、婺川（驻都濡镇）、凤冈（驻龙泉镇）、湄潭（驻义泉镇）、仁怀（驻中枢镇）、赤水、鳛水（驻东皇殿）、桐梓等11县。

1951年撤销遵义市，并入遵义县。遵义专区辖11县。

1952年复设遵义市。辖1市、11县。

1955年遵义市改由省直辖。

1958年的遵义专区

1956年，镇远专区的余庆县划归遵义专区。

1956年，四川省綦江县2个村划归鳛水县。

1958年，遵义市降格为县级市，划归遵义专区，贵阳市息烽县划归遵义专区。撤销遵义县，并入遵义市（县级），撤销凤冈县并入湄潭县，撤销道真县并入正安县。遵义专区专员公署驻遵义市，辖1市9县。