杨素、韩擒虎、贺若弼、史万岁并称为隋朝四大名将，他们不但一同进入唐室所设古六十四名将庙中享奠，也一同进入了宋室所设的七十二名将庙中享奠，还一同进入了宋人所编《十七史百将传》中。

不过，韩擒虎和贺若弼只在统一南北的平陈作战中表现出彩，其他地方都黯淡无光，乏善可陈。

史万岁所历战阵堪与杨素相提并论，但只有在平定地方局部小动乱时才有唱主角的机会，在平陈作战和对突厥人的作战中，都是以配角的身份参战。

唯独杨素，不但参与了杨坚一朝的几乎所有战争，并且每役均独当一面，甚至，在北周时期，他刚出道，就独领一军了。

杨素的父亲杨敷，是北周骠骑大将军，在北周与北齐的战斗中战殁。

建德四年(575年)七月，北周武帝宇文邕率军攻北齐，杨素请求率其父旧部为先驱。武帝乃是一代明君，慨然应允，赐以竹策，说：“朕方欲大相驱策，故用此物赐卿。”

杨素初出茅庐，便有上佳表现，建下战功，被封为清河县子，食邑五百户。

次年，即建德五年(576年)十月，杨素与齐王宇文宪一起率军出生征北齐。

宇文宪是个大草包，他和杨素一同攻克了晋州(治白马城今山西临汾境)，屯兵于栖原，突然收到线报：北齐后主高纬率大军自晋阳(今山西太原)向晋州进发。他一下子就吓傻了，心胆俱裂，竟然不战自退，连夜解营逃遁。士卒在仓皇退却中自相践踏，死伤不计其数。北齐军乘势追*，斩获无算。

危难之际，杨素率骁将十余人尽力苦战，宇文宪方得以脱逃。

建德六年(577年)，北周灭北齐，杨素累积战功上开府，改封成安县公，邑千五百户，赐以粟帛、奴婢、杂畜。

南陈宣帝陈顼趁北周与北齐展开生死大战，遣名将吴明彻率军北伐，拟夺取淮北地区。

吴明彻军在吕梁(今江苏徐州东南)击败北周徐州总管梁士彦，进围彭城(今江苏徐州)。

徐州岌岌可危。

杨素随上大将军乌丸轨前去救援，不但使局势转危为安，而且大破陈军、擒捉了南陈主帅吴明彻。

次年，主治东楚州事的杨素又攻破陈将樊毅在泗口所筑新城，驱逐走了樊毅。

大象元年(579年)，上柱国韦孝宽攻略南陈淮南地区。杨素独领一军，攻克了盱眙(今江苏盱眙东北)、钟离(今安徽凤阳东北)。

大象二年(580年)，北周宣帝宇文赟病死，周静帝宇文衍年幼，左丞相杨坚主政。相州(治邺城)总管尉迟迥改奉赵王宇文招之少子为主，另建政府，要与杨坚唱对台戏。

杨坚调兵平乱，以韦孝宽为行军元帅，以杨素与郕公梁士彦、乐安公元谐等为行军总管。随后还拜杨素为大将军，负责领兵攻打宇文胄。

杨素用兵如神，很快便将宇文胄斩*，从而进位柱国，封清河郡公，邑二千户。

杨坚之前曾与杨素联宗，两人以族兄族弟相称，而杨素的能力又是如此超群拔逸，即杨坚在受禅之后，愈加重用杨素，加封其为上柱国。