据鱼山村《牛氏族谱》记载，明朝初年，鱼山村祖先为躲避战乱，牛氏自山西洪洞县迁此建村。村内保留着几十套清代留下来的石房院落。村中的宋氏古寨门、石屋、古村、石碑，山上的奇石景观，古寨墙，回音洞，彰显了山村的悠久历史和文化。

山上石料资源丰富，建房就地取材，落成之后，整个山村看起来像是一个石头城，行走其中，到处能看到大石条搭建而成的平顶石头大门，脚下是经历岁月冲刷的墨绿色不规则的石块，上下一色，浑然天成，让整个村落呈现出别有的风貌。

山上石料资源丰富，建房就地取材，落成之后，整个山村看起来像是一个石头城，行走其中，到处能看到大石条搭建而成的平顶石头大门，脚下是经历岁月冲刷的墨绿色不规则的石块，上下一色，浑然天成，让整个村落呈现出别有的风貌。

整个鱼山村就像一个石头阵，行走于阵中,到处能看到大石条搭建而成的平顶石头大门，还有用长方体石块砌成的拱形半圆圈门。院落是用石块围成的石墙。