根据《明史·徐辉祖传》记载：

辉祖，初名允恭，长八尺五寸，有才气。

在很长一段时间内，徐辉祖的名字都叫徐允恭，后来建文帝朱允炆登基，为了避讳“允”字，才改名为徐辉祖。他身长八尺五寸，年少有为。洪武初年，徐达多次出征北伐，家中一切应酬皆是徐辉祖主理。徐达治家本身就严格，徐辉祖按父亲要求，“家众肃然”。待弟弟们逐渐长大，徐辉祖又多次跟随徐达在军中历练。

当时，在明朝初年的“将二代”中，朱元璋最重视的两人，一人是徐辉祖，另一人是李文忠之子李景隆。

洪武十三年，朱元璋裁撤大都督府，设立五军都督府，徐辉祖被调任到左军都督府任职，四年后，徐辉祖“以勋卫署左军都督府事”，意思是，朱元璋把大明朝五分之一的兵权、左军都督府交给徐辉祖暂管。两年后，朱元璋又把这个职位交给了李景隆。

从这里可以看出，朱元璋当时有意在锻炼徐辉祖和李景隆，希望这二人能成为明朝下一代帝王的柱石。

洪武十七年，徐达在北平练兵时背疽复发，朱元璋忙派徐辉祖持手诏去探望徐达。次年二月，徐达去世。朱元璋悲痛万分，追封徐达为中山王，将徐达配享太庙，位列第一位。

三年后，徐达的丧期已满，徐辉祖以徐达长子的身份继承了魏国公爵位。《大明太祖高皇帝实录·卷一百九十四》记载：

洪武二十一年十月……丙寅（二十六日），命中山武宁王徐达子允恭袭封魏国公。

纵观徐辉祖的青年时代，在徐达去世之前，他是大明第一勋贵家的长子，更是朱元璋着力培养的“将二代”。他从小深受徐达的熏陶，不管是在军事成就上还是人格上，都是合格的魏国公接班人。

徐辉祖继承魏国公爵位时，大明朝的“将二代”们已经普遍成长，李景隆、常升、邓铭（邓愈之子）等皆在军中任职。然而，朱元璋唯独喜欢徐辉祖和李景隆，其中，徐辉祖尤其受重视。

为了让大明朝的第二代魏国公快速成长，朱元璋多次派徐辉祖到各地练兵。《明史》载:

数出练兵陕西、北平、山东、河南。

洪武二十二年，朱元璋派徐辉祖到陕西“休息士卒”，由于老将傅友德在军中，朱元璋担心傅友德干涉徐辉祖行事，特地下旨将傅友德召回京师。

另外，徐辉祖曾至少三次去北平练兵，而屏藩北平的燕王正是徐辉祖的姐夫，徐辉祖因此和他的几个外甥也较为熟悉。

洪武二十六年，元朝降将阿鲁帖木儿有造反之意，朱元璋派徐辉祖带兵北上擒贼，徐辉祖不负众望，一战而胜，将阿鲁帖木儿活捉。归来后，朱元璋让徐辉祖掌管中军都督府。