玄武区因玄武湖而得名，源于民国时期的城北东区，1933年，重新划分为8个行政区时，因总统府所在地，也称为第一区，是中华民国政治中心所在。

1950年6月，南京市人民政府决定重新划分城郊区。区境以旧一区为基础，划出中山东路以南，逸仙桥以东地区，增加原属旧六区的中央路以东、玄武门以南地带及玄武湖之全部，又增加原属旧十区的岗子村至太平门以西地带建为新一区。1955年8月，第一区改称玄武区。

1995年4月，全市区划调整，将原属鼓楼区的中央路东侧的廖家巷、大树根、后大树根、中央门4个居委会划入玄武区至此，玄武区面积达80.97平方公里，成为当时南京市面积最大的城区。

苏宁的总部就位于玄武区徐庄哦。

建区始于民国22年（1933年），源于民国时期的南京市第五区（城西区），以西晋时期南京的故称“建邺”为名。

1955年8月，定名为建邺区，1967年3月改为红卫区，1973年12月恢复建邺区名称。后经多次调整，至1995年4月，建邺区下辖朝天宫、止马营、安品街、莫愁湖、南湖、兴隆6个街道。

2002年10月，南京市进行新一轮区划调整，划出朝天宫、止马营2个街道。2012年6月，南湖、滨湖街道合并为莫愁湖街道，划入江心洲镇以及沙洲、双闸街道的部分地区，形成莫愁湖、兴隆、南苑、沙洲、双闸、江心洲6个街道。

历史上江宁仅县以上建设的名称有40个。“江宁”不仅为县名，还曾为郡或府之名。晋太康二年（81）始用江宁名称，至2019年已有1738年的历史。

中华民国元年（1912）1月1日，中华民国临时政府定都江宁府，改江宁府为南京府，废江宁、上元二县。次年废南京府设江宁县。民国22年（1933）2月10日，江宁自治实验县成立，直属江苏省政府。民国23年（1934）县治由南京迁至东山镇，与南京市分开，属江苏省管辖。