《天龙八部》中介绍，段延庆在与刀白凤有过一夜情之后：

最近五年习练以杖代足，再将“一阳指”功夫化在钢仗之上；又练五年后，前赴两湖，将所有仇敌一家家*得鸡犬不留，手段之凶狠毒辣，实是骇人听闻，因而博得了“天下第一大恶人”的名头，其后又将叶二娘、南海鳄神、云中鹤三人收罗以为羽翼。

段誉今年十八岁，段延庆与刀白凤的遇合因为是在十九年之前。去掉中间练习武功的十年，“四大恶人”集团形成，最多只有九年时间。

另外，段延庆“曾隶籍西夏一品堂麾下”，在西夏呆过一定的时间。西夏地处西北，远离中原武林，没有机会作恶。

再有就是段延庆“曾数次潜回大理，图谋复位，但每次都发觉段正明的根基牢不可拔，只得废然而退”，不在西夏的时间，还有一部分呆在西南的大理国境内，同样远离中原武林，没有机会——不，不是没有机会作恶，而是做坏事的影响力不大，没有及时传到中原武林中。

​

所谓的“侠义之辈”，以中原武林为主，像少林、丐帮等等。而段延庆、以及四大恶人集团，与中原武林交集不多，也就不容易受到仇恨和攻击。

说白了，“四大恶人”合中有分，在大事上还是唯段延庆马道是瞻的。段延庆的主要目标是大理段家，而不是中原武林。