2400多年前，越王勾践就在金中华门外长干里筑城，称为越台。东吴，东晋六朝等都对城墙进行修建，现在这座城墙，是明代开国皇帝朱元璋在这里建都时扩建的，从1369年9月至1373年8月的4年中建成，城墙依据自然地形建造，东北有富贵山、九华山和北极阁，西南有台山和清凉山，北有狮子山，南北两边有秦淮河环绕，东北城外紧邻玄武湖和紫金山，依山傍水，十分壮丽。

历史上南京既受益又罹祸于其得天独厚的地理位置和气度不凡的风水佳境，过去曾多次遭受兵燹之灾，但亦屡屡从瓦砾荒烟中重整繁华。且在中原被异族所占领，汉民族即将遭受灭顶之灾时，通常汉民族都会选择南京休养生息，立志北伐，恢复华夏。大明、民国二次北伐成功；东晋、萧梁、刘宋三番北伐功败垂成。南宋初立，群臣皆议以建康为都以显匡复中原之图，惜宋高宗无意北伐而定行在于杭州，但迫于舆论仍定金陵为行都。太平天国以南京为都，也以驱除异族统治为动员基础和合法性之一。所以南京被视为汉族的复兴之地，在中国历史上具有特殊地位和价值。故朱偰先生在比较了长安、洛阳、金陵、燕京四大古都后，言“此四都之中，文学之昌盛，人物之俊彦，山川之灵秀，气象之宏伟，以及与民族患难相共，休戚相关之密切，尤以金陵为最。

南京一带在100-120万年前就有古人类活动 ，35-60多万年前就有猿人在南京地域生活，汤山旧石器时代文化遗址出土了南京猿人化石，是截至2010年已发现最早的南京的人类生活遗迹。南京猿人化石的出土，是中国古人类研究及旧石器时代考古领域具有世界意义的重大发现。同一化石点发现两个人种，全世界仅有南京一处。这不仅让“南京猿人洞”成了全球唯一的同一化石点发现两个人种的地方，也为人类多地起源论提供了有力依据，中国人并非起源于非洲。

约7000-8000年前，出现了以北阴阳营文化为代表的新石器时代原始村落，今栖霞地区已有农业文明产生。 在市中心的鼓楼岗北阴阳营、江宁区陶吴乡咎庙等地，发现200多处6000多年前新石器时代的遗址，出土大量的陶器和石、骨制成的生活用具。3000年前，秦淮河流域出现了密集的原始聚落，被称为湖熟文化。春秋战国时，在这些聚落的基础上形成了南京地区最早的城邑。