在民间传说中，杭州众安桥下也曾被认为是岳飞遗骨所葬之处。此地是南宋临安城中比较繁华的地方，紧靠御街。清朝道光十三年(1833年)，杭州府司狱吴廷康，正式确定此地为岳飞葬地。关于岳飞的墓的位置也是迷雾团团，那么真相是什么?
1140年，岳飞率军北伐，与金军将领完颜兀术率领的重兵在郾城(河南郾城)相遇，岳飞大破完颜兀术的“拐子马”军阵，完颜兀术感叹说：“自从故乡起兵，靠此制胜，今竟如此。”金军退守开封后，岳飞率兵追击至离开封四十里的朱仙镇。此时北方各地人民，纷纷起义，切断金军粮道，准备迎接南宋部队。完颜兀术束手无策，打算放弃黄河以南地区，退守燕京(北京)。
此时的皇帝赵构害怕在岳飞的压力下前皇帝被释放回国，从而影响自己的皇帝宝座，再加上大臣秦桧在皇帝的指使下，正与金朝谈判。于是，宋高宗下令岳飞率军撤退，在一天之内，宋高宗连续颁发了十二道命令，每道命令都用“金字牌”送达(金字牌送达的命令，驿马每天飞奔二百公里)，用以造成严重压力，使岳飞不能反抗。岳飞在接到第十二个金字牌时，他不能不退，否则就是叛变。他向拦在马前恳求不要撤退的民众垂泪说：“十年准备反攻，呕尽心血。而今一天之内，化为乌有。”
回到开封后，宋高宗想起岳飞要接前皇帝回国的话语后，仍感后怕，于是先任命岳飞为枢密副使，剥夺了岳飞的军权，接着又指使秦桧诬陷岳飞谋反，逮捕岳飞下狱。南宋将领韩世忠质问秦桧岳飞是不是真的谋反时，秦桧回答说：“莫须有。”韩世忠叹息：“莫须有三个字，怎么能服天下人心?”但是岳飞还有他的儿子岳云及他的几位部将仍被处死。
岳飞在狱中被处死后，张宪和岳云被绑赴临安城的闹市众安桥处死。张宪和岳云被害以后，后人在众安桥西的资福弄、枣木巷建有忠烈祠以祀二人。绍兴二十年，殿前司后军小校施全激于义愤，刺*秦桧，可惜未成功，被分尸于众安桥。当地百姓怀念施全惨死，在众安桥上修有施将军庙。岳飞和张宪的家属则被流放到岭南和福建，宋高宗亲自下旨规定，“多差得力人兵，防送前去，不得一并上路”，他们的“家业籍没入官”。
在岳飞无辜被害后，对岳飞一向仰慕的狱卒隗顺正冒着生命危险将遗体连夜背出城外，偷埋在九曲丛祠旁。《朝野遗纪》记载为“狱卒隗顺负其尸出，逾城，至九曲丛祠中。
故至今九曲王显庙尚灵。顺葬之北山之誑”。为了日后辩识，隗顺又把岳飞身上佩带过的玉环系在其遗体腰下，还在坟前栽了两棵桔树。隗顺临死时对他的儿子说：“以后朝廷给岳大人平反后，如果找不到他的遗骨，必定会悬赏来寻找，到时候你告诉官府：岳大人的棺材上有一个铅筒，上面有大理寺的勒字，那是我埋葬时所作的标记”。岳飞遇害后人们一直要求为他平反昭雪，但宋高宗始终置之不理。到了宋孝宗即位，为了给太上皇保留体面，假称“仰承”高宗“圣意”，给岳飞恢复官爵与名誉，此时距岳飞遇害已21年了。隗顺的儿子把其父藏尸的真相告知官府，岳飞的遗骨才得以迁葬杭州西子湖畔栖霞岭，让后世之人得以凭吊。
历史上，筹集大量银两，营建岳飞墓、岳飞庙，又刊印了《岳忠武王初瘗》，在当时影响颇大。但是，宋代众安桥一带南有北瓦，东有御街，北面则面临着钱塘路，都是繁华的街市，而且在众安桥西不远的地方，有军队驻守，如果有人在这里掩埋、植树、立碑，守军不可能不知道。
再者，宋时的临安城远比现在的杭州城小，根据史料记载，隗顺背着岳飞的尸体“越城”而走，众安桥在城内，如果真是初葬在这里，就不存在越城的说法。因此，岳飞的遗骨埋葬在杭州西子湖畔栖霞岭证据更为充足，也更为普遍被人民接受。
岳飞墓几经修葺，现在的岳飞墓阙是1979年整修时按南宋建筑风格设计的，墓道两旁陈列的石虎、石羊、石马和石翁仲，是明代的遗物。墓阙下有四个铁铸人像，反剪双手，面墓而跪，即陷害岳飞的泰桧、王氏、张俊、万俟呙四人。跪像背后墓阙上有楹云：“青山有幸埋忠骨，白铁无辜铸佞臣。”
在秦桧和他老婆的跪像前边，还有这么一副对联，是用秦桧夫妇互相埋怨、对骂的口气写的，很有意思：
唉!仆本丧心，有贤妻何至若是?
啐!妇虽长舌，非老贼不到今朝!
上联是秦桧的口气，意思是：“唉!我本来就是个没人心的东西，可身边要是有个好媳妇，兴许也不至于没完没了的老在这儿跪着吧?” 下联是用秦桧老婆的口气回答说：“呸!虽说我是个长舌头女人，可要不是因为你这个老贼，我怎么会老陪你跪着挨人唾骂!”
除了岳墓，人们还在各地建立了岳王庙来纪念民族英雄岳飞，其中最有名的是杭州的岳王庙。岳飞死时只三十九岁，这是中国历史上最悲痛的冤狱之一。
