接着老师便给他写了一封介绍信。宋希濂回家说服自己的父亲后，便带上行囊，与至交好友陈赓一同前往广州，进入陆军讲武学校学习。1924年，宋希濂凭借着，在讲武学校表现出来的军事智慧，被湘军总司令谭延闿、湖南省出席国民党一大代表谢晋、湘军总司令部秘书彭国钧保荐，投考黄埔军校，入黄埔军校第一期第一队学习。

同年6月，宋希濂加入中国国民党。在校期间，宋希濂曾亲聆孙中山先生讲话，参与护卫孙中山到韶关督师。

在宋希濂加入国民党的时候，陈赓也加入了共产党。那时，正值国共第一次合作的时期，所以黄埔军校内，不仅有国民党，也有共产党，两党之间常有交流。因此，宋希濂也同共产党人，比如周总理、聂荣臻等人颇有交情。在1925年的时候，经过陈赓的介绍也加入了中国共产党。

宋希濂从黄埔军校毕业之后，便担任了黄埔军校，教导二团二营四连一排的少尉副排长，因表现出色，在半个月以后便升为排长。1925年，宋希濂同部队参加讨伐陈炯明的东征。4月，东征凯旋后，宋希濂便任教导第2团第2营第4连中尉副连长。到了10月份，宋希濂便担任了第2团第2营第4连上尉连长。

宋希濂高兴地向好友陈赓诉说自己的成就，却不知道蒋介石暗中盯上了他。当时，虽然是国共合作时期，但是蒋介石并不认同共产党，认为共产党的思想理念愚昧，因此蒋介石一心想要铲除共产党。不过仅仅靠他自己的力量还不够，于是便四处拉拢有能力的黄埔学生。

通过宋希濂在黄埔军校中的表现，以及在战场上的作战能力，蒋介石认为宋希濂可以为自己所用。便经常找宋希濂谈话，一来二去宋希濂的思想便有些动摇，渐渐不太认同共产党。

1926年，蒋介石一手策划了“中山舰事件”，监视和软禁大批共产党人。事件爆发后，作为“跨党”人士，宋希濂陷入了深深的迷茫之中，他不明白蒋介石为何要这样做。蒋介石看透了宋希濂内心的纠结，便再次给宋希濂洗脑，然后再以丰厚的报酬诱惑宋希濂。于是思想不坚定的宋希濂，成功成为了蒋介石手下的得意将领。

不久之后，宋希濂发表声明正式退出中国共产党：“在现在的中国，国共两党都是革命政党，目标是一致的。但因为军方要求军官不能跨党，为避免发生不必要的麻烦，我打算不再跨党。”为此，陈赓同宋希濂爆发了激烈的争吵，随后二人便分道扬镳，完全走向了对立面，以至两人后来兵戎相见。