根据《后汉书•严光传》披着羊皮袄钓鱼，形容不慕官爵，隐居不仕。

东汉光武帝刘秀完成统一后，为谋求发展，广招天下人才，规划国家发展。

这时刘秀想起了同窗好友严光，决定请他来京，协助治理国家，但严光已更改姓名隐居乡下，很难寻找。

刘秀叫来画工，把严光的长相特征说给画工听，让画工画出严光的画像，刘秀确认后将画像送到各郡，叫当地官吏和百姓寻找严光。

不久，齐国上书光武帝，说齐国有一个人和画像很像，此人每天披着羊裘在河边钓鱼，光武帝得知后马上派人，带上礼品，到齐国请他来京城，使者见到严光，奉上礼物，请他上车，这时严光说，“我是钓鱼的，你们认错人了”。

使者把他拉上车，向京城驶去，严光见到刘秀后也不起身行礼。第二天，光武帝把刘秀接到宫里，以同学的身份同刘秀谈论学问，严光这才同光武帝热情的交谈起来。

光武帝要任命他为朝廷大臣，严光说，“我愿在乡下过着钓鱼的生活，我不愿做官”光武帝本打算让严光协助他治理好国家，但严光志不在此，态度坚决， 光武帝只好送严光回到乡下，过着每天披着羊裘在河边钓鱼的生活。

后来人们根据这个故事就有了“羊裘垂钓”的成语。