然而老蒋一意孤行，挥起的刀不砍向日寇，反而砍在国内共产党身上，他的政策使得东北三省一步步沦陷，百姓深受其害。张治中努力去劝说蒋介石，但以个人的力量而言，明显无法改变老蒋的态度。

于是，张治中便选择不与共产党人交手，为此，他主动退守二线，去国民党中央陆军军官学校训练部担任主任、教育长，主持军事教育长达十年之久。在这十年当中，唯有在国家民族危在旦夕之际，张治中才会出马带兵。

1937年，抗日战争全面爆发，蒋介石此时因为“西安事变”，终于愿意与共产党联合起来共同抗日。听闻这个消息，张治中非常开心。

在此期间，他作为国民党方面的调解人，曾多次与我党进行谈判，对抗日统一战线起到了积极稳定的作用。

不过蒋介石始终没有放下过“剿共”的想法，所以他会在抗日战争时期，策划并推动了皖南事变。

张治中始终遵循孙中山先生的意愿，心中时刻都有着两党之间和平共处的心愿，因此在皖南事变后立马向蒋介石上书，主张继续国共合作，共同抗日，气得蒋介石大喊：“我现在是和共产党的代表讲话吗？”

即便如此，张治中也没有放弃过，向蒋介石进谏要“联共”。不仅如此，在1945年，张治中还不负周总理的嘱托，前往新疆解救被监禁起来的一百多名共产党员、干部，并将他们安全地送回延安。

抗日战争胜利之后，张治中努力调解两党之间的纷争，但横亘在彼此之间的有无数人的鲜血，再加上蒋介石一直充满了狼子野心，问题始终难以解决。

从1945年到1949年，张治中两次代表国民党进行了和平谈判，分别是重庆谈判和1949年的和平谈判。

张治中受到了党中央的热情接待，他十分赞同共产党的思想，他曾在看了周总理拟定的《国内和平协定（草案）》后，动情地说：“我们以至诚至敬之心，希望中共能领导国家，达到独立、自由和民主的国家。”

可惜，张治中的这种想法，永远也不能被蒋介石理解，蒋介石拒绝了修正案，并反对解放军渡江，和平谈判宣告彻底破裂。而此时的“蒋家王朝”已是日薄西山，最终蒋介石灰溜溜地跑到了小岛上。

和谈破裂之后，张治中原本还打算回去复命。周总理极力挽留：“你怎么这么封建，你不能将希望寄托在某些人的身上，你需要在意的，是这个国家的革命，这个国家的人民！况且，我们已经对不起一位姓张的朋友了，不能再对不起你！”

就这样，张治中留了下来，并在新中国成立之时，促成了两个万分重要的决定：一是确定国名，二是确定国旗。正是在张治中的建议之下，才有了今天我们熟悉的国名和国旗。

不仅如此，张治中还在新中国成立之后，投身进国家建设与发展中，尤其是在两岸统一的工作中，他做了许多努力。

在1950年初，张治中以到广州接返国的女儿为名，实际上是肩负着特殊的使命，遵照周总理的指示，率领由屈武、李俊龙、余湛邦等人组成的特别工作小组，乘船去广州与国民党代表进行密谈，已达到促成两岸和平统一的目的。

在抗美援朝之后，张治中还特别派出老部署张雅琴，专门负责两岸意见沟通。张雅琴曾担任国民党《和平日报》的副总编，与国民党人士交往密切。