据考证，600多年前，苗族的一个分支西氏族迁徙到这里，在西氏族到达以前，这里已经居住着苗族“赏”氏族，西江地名中的“西”指西氏族，“江”通“讨”，即西江是“西”氏族向“赏”氏族讨来的地方，“西江”因此而得名。西江苗族在这方天地里辛勤耕耘，开辟出了大片的梯田，他们舍不得占用耕地兴建住宅，便充分利用这里的地形特点，在半山建造独具特色的吊脚楼，上千户吊脚楼随着地形变化顺势而建，最终发展成蔚为壮观的建筑群，并形成了浓郁的耕读文化，延续发展了自己的宗教和传统。由于交通的闭塞和大山的隔绝，也使这里成为世外桃源。

苗族据说是世界上最早种植水稻的民族，而“苗”这个字下面一个“田”，上面一个“草”，田里种草便是种稻谷。苗族种植水稻最早是在九千至一万年前，当时苗族的先民生活在长江、黄河入海口的江浙一带。考古界在浙江余姚河姆渡发现了距今7000多年的文化遗址，在遗址里发现了大量的稻谷颗粒，以及木质的干栏式建筑。河姆渡与苗族的变迁究竟有没有联系？