传说观世音菩萨曾经跳到这里来统计舟山群岛的山峰，因而让这里和佛教结下不解之缘，“大悲山”即取自佛教“大慈大悲”中的“大悲”之意。大悲山上除了观景台，还有一处著名的风景。这处风景是一座寺院，名为灵音禅寺。

灵音禅寺原名资福院，始建于五代时期的后晋天福八年，清朝咸丰时期改名为灵庆庵，同治时期改建时改名为灵音寺，光绪时期再次扩建。灵音寺距今已经有1000多年，是一座如假包换的千年古寺。然而，灵音古寺在文革时被拆除殆尽，现存的寺院是1991年重建的。

新建的灵音寺在原来的布局上有所扩建，由通天桥、放生池、天王殿、大雄宝殿四部分构成。寺院主体布局精巧、雕梁画栋，顶上覆盖黄瓦，看起来金碧辉煌。天王殿四周的厢房和庙宇为黄墙黛瓦，和中心的黄瓦楼宇形成鲜明对比，别具一格。

无论是大悲山观景台还是灵音寺，都处在嵊泗岛的至高点，成为观景胜地。嵊泗列岛闻名天下，除了本岛，周边有大大小小400多个岛屿组成，它们各有特色，形成丰富的海岛景观。除了海岛周边都是大海，视野辽阔，日出和日落之时风光无限，吸引了大批游客前来，使这里成为网红观景地。