将军俑

秦朝的地方军队主要由郡县长官统辖，郡有郡尉，又称为“都尉”。都尉本来是一支军队的副将，秦朝统一后成为了地方副长官，《汉书·百官公卿表》记载“郡尉，秦官，掌佐守典武职甲卒”，他们平时保持训练，战争时期则根据命令出战，“常以八月、太守、都尉、令长、丞、尉会都试材官骑士，习骑驰、战阵，课殿最。”有些重要地方的郡尉拥有重兵，如南海尉赵佗就依靠其军队割据岭南，建立南越国。

武猛都尉印章

在县中有县尉，也是县的副官，主要负责一县的治安、军事训练、征伐徭役等。县尉的职务繁重。县尉的属官有负责马匹管理和训练的县司马，有负责管理劳役和刑徒参与的工程建设的县司空，有令史、屯长、卜射、士吏、假佐等小吏或者下级军官。在县以下还设置了游徼、亭等基层治安系统。亭的长官为亭长，副长官有亭父、求盗等，求盗专门负责缉拿罪犯、盗贼。而羁押刑徒、发配劳役等，也需要亭长等进行了押送。

兵马俑

秦汉时期在重要的关口设置了关都尉，以守备关隘，稽查行人，兼掌税收。秦朝在通往关中地区的函谷关、武关等关口设置了关都尉，汉武帝又在通往西域的阳关、玉门关设置关都尉，东汉时期，设置函谷，广城、伊阙、大谷、辗辕、旋门、小平津、孟津等八关部尉以拱卫洛阳，史称“八关都尉”。因此关都尉也是地方重要的军事建制。

函谷关

在边疆地区，军事负担更大，都尉的设置也更多。汉朝时期在边疆设立的都尉有部都尉、骑都尉、农都尉（主屯田殖谷）、属国都尉（管理游牧民族）等，他们都可以兼管民事。汉武帝时期，都尉的设置十分普遍，从地方到地方都设置了都尉，如掌管税收、皇室财政和货币的水衡都尉、掌握皇帝车马的奉车都尉和驸马都尉等。

东汉之后，为了加强中央集权，刘秀于建武六年（公元30年），裁撤除了大量的都尉，将地方军队归于太守掌管，“省诸那都尉，并职太守”。遇到紧急事务，才临时设置都尉调遣军队，“每有剧贼，郡临时置都尉，事讫罢之。”（《后汉书·百官志》）。可见东汉的太守拥有统兵之权，但是不能调动军队，而只有都尉才能调兵。另外在边疆地区，由于战事频繁，因而都尉权力较大，可以兼管民事。如《百官志》记载：“惟边郡往往置都尉及属国都尉，稍有分县，治民比郡”就是边郡都尉可以兼管民事的证据。