双峰寺始建于宋景德年间，寺名为朝廷所赐。据载，盛时有僧徒五百余人，庙产众多，庙田绵亘数十华里。明清时，该寺一度毁于兵乱和火灾，清康熙和光绪年间又两度重修。清嘉庆年间，少林寺僧游方来此，传法授功，光大禅门，僧众云集，香火繁盛。

寺院依山而建，背靠双峰插旗山，前庭两条小河汇聚，远远望去，富有闽南特色的红砖琉璃瓦，在巍巍青山间熠熠生辉，与西南的青砖黑瓦相互映衬，独有韵味。

四面山少林寺2012年春扩建，2015年秋落成，更名四面山少林寺，现有天王殿、大雄宝殿、观音阁、文殊阁、普贤殿、准提殿等殿宇及演武厅等设施，寺庙旁边还拥有保存完好的主持墓5座，明代和尚墓155座的庞大古墓群。现在的四面山少林寺，由福建省佛教协会副会长、泉州少林寺方丈释常定入寺住持管理，传承禅宗佛法及少林武术。