准确来讲，砀山县的名字来源于芒砀山，历史多与芒砀山相关。古时候天下分九州，砀属豫州之域；西周初期属宋，为砀邑；隋开皇18年改为砀山县。而如今，砀山县赖以得名的芒砀山却已经在河南境内，这又是为什么呢？

其实，这和历史上砀山县的行政区划沿革有关。我们前面提到的下邑县，县治在今砀山县东毛李庄和砀县，县治在今永城市芒山镇，史料中提到的“砀县”原本在砀山（今芒砀山）西麓，因砀山得名，也易于理解。

另一方面，在黄河南流的这600多年时间里，经常河道决口、洪水肆虐，砀山县城也多次被冲毁或埋于泥沙之下。在洪水的压迫之下，砀山县县治也从最初的芒砀山西麓旧址一次次地进行迁移，后来的砀山县城是明朝万历二十六年（1598年）新建的。

历史上，砀县、下邑县这两个邻县行政区划变化频繁，废又置，置了又废，名字变来变去，而且时而分，时而合。隋大业六年（610年）置永城县，原砀山县城（今芒山镇）划归永城，砀山县治所迁至今砀山县城东。芒砀山1949年时还归安徽砀山县管辖，但是在1952年被划归河南省永城市。以至于出现如今之奇特现象，砀山县因芒砀山而得名，境内却没有山。