建国以后，军队的正规化建设，应该是从成立国防部的1954年10月开始算起，以前的五年时间是向正规化建设军队的过渡期。标志性有以下几点：一、基本建立健全了各总部和各军兵种领导机构。由于学习苏军，机构分工较细致，所以机构建立较多。二、各军兵种分别成立了各类学校。三、随着1955年开始实行的三大制度(义务兵役制度、军衔制、勋章奖励制度)，我军已正式地进入到了，正规化的军队建设时期。
国防部在对外军事交往中，体现出来的是政府的最高军事部门。而总参也好、总政等也好，只能代表军队的一个具体工作部门，所以份量还是不一样的。
1954年10月粟裕被任命为解放军总参谋长，到1955年10月1日，全军正式实行军衔制，粟裕被授予大将军衔。由于担任的是军队最核心部门的首长，所以又是排名第一位的大将。按照苏军惯例总参谋长应该是国防部第一副部长，但却安排的是军委秘书长黄克诚为国防部第一副部长；总政第一副主任谭政为国防部第二副部长；第三副部长为萧劲光；第四副部长为王树声，还有萧克、李达、廖汉生为副部长。这样安排的原因我分析有两点：一、是为了分权，如果集中由一人来负责，可能会过于忙碌，可以理解。二、也许是考虑到粟裕总长的身体情况欠佳的一种安排。三、总长没有任国防部副部长，副总长也就不可能任国防部副部长了。
在粟裕任总长时期，总参的总长和副总长都没有被安排任国防部副部长。只是在粟裕被免职总长后，被任命为国防部的副部长。到1959年10月，组建了新的军委，罗瑞卿大将任军委秘书长、总参谋长、国防部第一副部长；陈赓大将也离开了总参，被任命为国防部副部长兼国防科委副主任。包括副总参谋长兼南京军区司令员许世友上将也免任副总参谋长，改任国防部副部长兼南京军区司令员。
据刘亚楼上将身边工作人员回忆，1959年11月，刘亚楼任职国防部副部长后，按规定就可以乘坐国产大红旗牌专车了。工作人员开着崭新的大红旗车去机场接由外地回京的刘亚楼。刘亚楼下飞机以后问：这红旗车接谁的？工作人员说：接你的。刘亚楼又问：原来车呢？工作人员答：送厂修理去了。刘亚楼说：不能从机关安排别的车来接我吗？刘亚楼坚决不坐，乘王秉璋副司令的车回了家。
国防部历任副部长：
黄克诚大将（1954年11月----1959年9月）
谭 政大将（1954年11月----1965年3月）
肖劲光海军大将（1954年11月----1975年1月）
王树声大将（1954年11月----1974年1月）
肖 克上将（1954年11月----1958年9月；1980年1月----1983年6月）
李 达上将（1954年11月----1958年9月）
廖汉生中将（1954年11月----1967年3月）
粟 裕大将（1958年12月----1978年3月）
罗瑞卿大将（1959年9月----1965年12月）
陈 赓大将（1959年9月----1961年3月）
许光达装甲兵大将（1959年9月---1967年8月）
许世友上将（1959年9月----1978年3月）
刘亚楼空军上将（1959年9月----1965年5月）
杨得志上将（1980年1月----1983年6月）
*主席和刘少奇、*、朱德、林彪、贺龙、刘伯承等参加军委扩大会议人员合影。
建国后第一任国防部部长彭德怀元帅。
