三国时期，当时的黄山市属于新都郡管辖，东临吴郡，南濒会稽郡，西靠庐江郡，北边与丹阳郡接壤。

西晋时期，当时的黄山市属于新安郡管辖，东临吴郡，南濒东阳郡，西靠鄱阳郡，北边与宣城郡、吴兴郡接壤。

隋朝时期，当时的黄山市属于新安郡管辖，东北是余杭郡，东临遂安郡，南濒东阳郡，西毗鄱阳郡，北边与宣城郡接壤。

唐朝时期，统治者实行道、州、县三级的地方层级管理。当时的黄山市属于歙州管辖，东北是杭州（现在杭州市地名的由来），东临睦州，南接衢州（现在衢州市地名的由来），西毗饶州，北边与宣州（宣城市古称的由来）。现在许多城市的名称和古称来自大唐时期。