关于汉阳树，有个传说：从前，有个心灵手巧的外地姑娘，刺绣非常出色，绣遍天下所有花朵，惟独没绣过银杏花。有一次，她无意看到一幅银杏画轴，觉得很美，遂发誓要绣一幅素雅动人的银杏花作为嫁妆。她听人说汉阳有株很大的银杏树，于是风尘朴朴地来到汉阳看望这株银杏树，一心想绣出银杏花。当地老人对她说：“伢喽，你看不到银杏花的，我们在这住了几十年都看不到，只看到地上的花瓣。"姑娘不灰心，就在树旁边搭了个小屋，天亮就望树，把所有树枝都望到，子夜也不入睡。望呀望，守哇守，守了七七四十九天，花还不开。人们都劝她回去，她仍坚持要等到银杏花开。一晃又是几天。突然有一天，姑娘闻到一股淡淡的香味，赶紧看，开花了！她赶忙在绣布上进行描绘，可惜刚描到一半，那银杏花就谢了，姑娘伤心地哭了。从此她不与旁人说话，一会儿呆在树下喃喃自语，一会儿跑进小屋里哭哭啼啼。有人说，她疯了。

就这样又过了九九八十一天，姑娘忧郁地死在她的小屋里，她身旁留下一幅完整的银杏花刺绣。好心的乡邻把她葬在银杏树下。就在姑娘死后的次年，这棵银杏树忽然万花竞开，开得很多很美，而且持久不谢。当地人都说，是姑娘的死感动了银杏树仙，让花开得更多、更美、更长。也有人说，是姑娘的灵魂进了银杏树，与银杏融为一体。