西汉元光五年（前130年），置犍为郡，郡治初治鳖县，即在今遵义市中心城区附近。

【犍为郡治后移南广（今云南省盐津县东）、僰道（今四川宜宾市），武阳（今四川眉山市彭山区凤鸣镇 ）。南齐时，犍为郡治由武阳迁回僰道县，直到公元至501年，僰道为“夷戎”占据，郡废。】

元鼎六年（前111年），于夜郎地置牂柯郡，治故且兰县，作为邦国存在了250多年的“夜郎国”之名从此消失。

牂柯郡初治故且兰县(今贵州黄平、贵定二县间)。辖境屡有变动：元封二年(前109)分西部置益州郡;元凤五年(前76)罢象郡，以其部分地区并入。有今贵州大部、广西西北部和云南东部。三国蜀汉建兴三年(225)，分南部置兴古郡;东晋建武元年(317)又分置平夷、夜郎二郡，辖境缩小，西晋移治万寿县(今贵州瓮安县境)。南朝齐改为南牂柯郡。汉至西晋武帝属益州，晋武帝后改属宁州。梁大宝后废。隋大业三年(607)又改牂州为牂柯郡。治牂柯县(今瓮安县境)。唐武德三年(620)复为牂州。

三国时期，今境属江阳郡、巴郡、牂柯郡。县邑可查的仍为鳖县，县治今遵义市中心城区附近。两晋南北朝时期建置，查考上面备注之牂柯郡介绍。

隋开皇三年（583年）废天下诸郡，实行州县二级制。今境大部属郎州。

隋大业3年，复郡县制。今遵义市境分属牂柯郡、明阳郡、江阳郡。其时，境置县邑可查的为绥阳县、义泉县、牂柯县等。

唐初，实行道州县制，今境属剑南道泸州，黔中道播州、珍州、思州、夷州、充州等。

唐贞观十三年（639年），将隋代的郎州改名为播州，领辖今黔北的大片地域。

播州之名，历经五代、宋、元到明朝末叶，存在了962年。所以人们常习惯用“播州”来代称古代的遵义。

唐贞观十六年（642年），将播州所领的罗蒙县改名遵义县。这是“遵义”的名称之始。

遵义之名沿用现今已有1364年。除县名外，历史上曾有过遵义砦、遵义军、遵义军民府、遵义府、遵义专区、遵义行政公署、遵义市等建制名称。播州从唐末到明末的725年间，为杨氏土司所世袭统治。