京口（今镇江）的地理位置非常特殊，北临长江，南岸有镇江三山：焦山、北固山、金山，临水负山，地势非常险要，是南京东线重要的战略屏障。古人云：京口东通吴会，南接江湖，西连都邑，亦一都会也。镇江之于南京，是一线军防重镇，其重要性按唐人杜佑的说法，就如同孟津（黄河关口）之于洛阳。北军要是夺下孟津，洛阳无险可守，南京也是如此。东晋初年，苏峻作乱，重臣郗鉴坐镇京口，确保都城无虞。有北府军镇守镇江，东晋都城南京安全就得到保障。

谢玄组建北府兵，是以京口、广陵为基地进行招募的，面向的是南徐州和南兖州地区，而这两个地方正是流民最多的地区，北府兵的组成是以北方流民为主的。据记载，仅仅南徐州从北方逃难来的人口就达到22万，比当地居民还多2万。

流民的家乡被北方的胡人占领，或多或少都和北方的胡人有着仇恨，士气天然就具有优势。由于流离失所，为了在乱世之中生存下去，他们不得不选择抱成一团，*出一条血路。这种由生存的压力而带来的战斗力，是其它军队无法相比的。而且由于战友基本都有相同的遭遇，关系上不是父子兄弟就是乡里乡亲，非常团结。

北府军名将很多，如刘牢之、何谦、诸葛侃、高衡、刘轨、田洛、孙无终、刘裕等人，不少本来就是流民帅，军事能力及号召力都很强。如刘牢之，他是彭城（今江苏徐州）人，骁勇善战，被谢玄招募为北府兵参军。刘牢之常领精锐为前锋，每战必捷。后来淝水之战时，刘牢之先是率五千精兵在洛涧大败前秦的先锋，击破前秦十名大将和五万主力，然后占淮河渡口，歼敌1.5万。淝水之战后，刘牢之更跟随谢玄北渡黄河进击前秦。后来的桓玄反叛，就是收买了刘牢之才得以成功。