牛头马面等鬼卒，本出自佛教，后被道教吸收。在佛教并不常见，而在道观中常能见到他们的影子。

也有资料说牛头原本是隋朝的吏部侍郎牛弘，对皇帝尽忠尽礼，对属下宅心仁厚，是个有口皆碑的好官儿。

有一天，他正在面试来的人员，结果一抬头，这人的长相第一眼就先是吓到了他，低头看过他的姓名，出生地之后，他便即兴做了一首诗讽刺其长相。这首诗也短：尝闻扶风马，谓言天上下。今见扶风马，得驴亦不假。其实扶风的马家历史上一直都出人才，比如说三国时期的马钧，就是我国古代非常出名的机械发明人，所以他们家在社会上非常有名望，结果今天这位也来自扶风，还姓马，可是他这个长相可是跟“驴”一样，实在难入人眼。牛敞没忍住就感叹了一番。

下面的马敞听了这诗也知道是在嘲讽他，一生气，也不管上面那是决定自己命运的人，便用陇西牛作诗回怼过去，陇西的牛也因为力气大而出名，但是眼前的这个，却只会在地上吃草，一点力气都没有。虽然是同样讽刺了一番，不过牛敞听了却没有生气，反而对这个人正眼看过来，不仅录用了他，还给了个肥差让他做。

后来，“牛头马面”的形象逐渐流传开来，成为一句调侃别人长相的俗语。在地狱里，“牛头马面”和“黑白无常”一起，成了阎罗王的四大“护法”，就像“张龙赵虎、王朝马汉”一样，常伴阎罗王左右……