泰山石敢当文字记载最早见于西汉史游的《急就章》：“师猛虎，石敢当，所不侵，龙未央”。元代陶宗仪《南村辍耕录》中也记载：“今人家正门适当巷陌桥之冲，则立一小石将军，或植一小石碑，镌其上曰石敢当，以厌禳之”。石敢当的用意从最初的压不祥，辟邪发展到驱风、防水、辟邪、止煞、消灾等多种功效。因为古代认为东岳泰山石具有独特的灵性和神力，是一种灵石崇拜，传说汉武帝登泰山时就带回四块泰山石，放置在未央宫的四角以辟邪。

后来泰山石还被世人人格化，说有个姓石名敢当的英雄，为了救被妖风侵蚀的百姓女儿，奋力打跑了妖怪，可这妖怪打东跑西，打西跑东，石敢当就想：我赶它一回，它就逃到别处作乱，世间这么大，我怎么跑的过来，我请石匠在泰山石头上刻上我的家乡和名字，妖怪看到这块石头，就不敢来了。

于是这习俗就传遍了大江南北，所有盖房子的人都在房屋冲路的一面镶嵌一块写着“泰山石敢当”的泰山石石块，用来辟邪。现在房子都不是自己盖了，人们仍然忘不了这一习俗，还会请一块泰山石放在客厅迎门处，以起到镇宅辟邪的功效。

这个习俗不仅在中国大陆流传，在亚洲的日本、朝鲜、新加坡，凡是华人众多的地方，都有“泰山石敢当”一说。

2005年12月，中国公布了首批国家级非物质文化遗产保护名录，“泰山石敢当习俗”名列其中。