贡巴饶赛晚年到达白马寺现址，直到圆寂。传说，其肉身涂药泥后供于石窟中，为了纪念他，后人就在该地建寺。 该寺大殿依山而建，凿孔架梁，似凌空而起。殿分三层，上为佛堂，供奉贡巴饶赛的塑像，还有他的两位师长和参加他授比丘戒仪式的另两位汉族和尚的塑像。中为经堂，下为僧舍。殿西有石窟，窟内有金刚佛石雕像，故该寺亦称金刚崖寺。
至于金刚崖寺改名为白马寺，其原因众说不一。相传，明万历年间，三世达赖喇嘛索南嘉措应内蒙古首领俺达汗之情，到内蒙一带传教讲经，当他路过此地时，所乘白马毙命。后人为了纪念这匹白马，便将金刚寺更名为白马寺，并将白马塑于寺内，世世供奉。