北宋时期，从开国的州、县两级发展为道、州、县三级的地方层级管理。当时的黄山市属于歙州管辖，东临杭州和睦州，南接衢州，西濒饶州，北边与宣州、池州（现在池州地名的由来）接壤。

南宋时期，当时的黄山市属于徽州（现在黄山市古称的由来）管辖，东毗临安府（州府同级）和严州，南靠衢州，西毗饶州，北边与池州、宁国府接壤。南宋时期黄山地区与北宋时期地区划分没有太大变化。

元朝时期，统治者实行行省制，地方分为行省、路、府（州）、县四个层级。当时的黄山市属于徽州路管辖，东临杭州路和建德路，南靠衢州路，西毗饶州路，北边与池州路、宁国路接壤。

明朝时期，地方分为省、府（州）、县三个层级。当时的黄山市属于徽州府，东临杭州府和严州府，南靠衢州府，西接饶州府，北边与池州府、宁国府接壤。