公元383年，在淝水之战中，东晋以八万兵力打败前秦八十多万军队，成为我国战争史上的以少胜多的经典战例。东晋的军队为何战斗力如此强悍？因为他们是北府军，与怯薛军、夷丁突骑、玄甲军、岳家背嵬军并称“中国古代五大精锐部队”。
北府军战力强悍毋庸置疑，那它是怎么形成的呢？西晋永嘉之乱后，随着胡人南下，中原开始逐渐崩乱，北方人纷纷南迁。世家大族在建康（今南京）拥立司马睿为东晋皇帝有功，门阀掌握朝政大权。
经过一番征战，前秦逐渐统一北方，给东晋带来的巨大压力。东晋的辖境主要就是荆、扬二州，荆州位于上游，地广兵强，也是抵抗北方势力军事南下的重要据点，东晋在此设立了强有力的都督府，兵力占据朝廷大半。扬州是京畿所在，是国之根本，但是兵力配备上却远不如荆州，形成一个弱干强枝的局面。
一方面为了应对前秦的强大压力，一方面为了平衡国内荆、扬二州的军事实力，谢安任命侄儿谢玄为兖州刺史，监江北诸军事，北镇广陵（江苏扬州），组建北府军。379年，谢玄领徐州刺史，镇京口（今镇江），东晋称京口为“北府”，故谢玄组建的这支军队称为“北府军”。
京口（今镇江）的地理位置非常特殊，北临长江，南岸有镇江三山：焦山、北固山、金山，临水负山，地势非常险要，是南京东线重要的战略屏障。古人云：京口东通吴会，南接江湖，西连都邑，亦一都会也。镇江之于南京，是一线军防重镇，其重要性按唐人杜佑的说法，就如同孟津（黄河关口）之于洛阳。北军要是夺下孟津，洛阳无险可守，南京也是如此。东晋初年，苏峻作乱，重臣郗鉴坐镇京口，确保都城无虞。有北府军镇守镇江，东晋都城南京安全就得到保障。
谢玄组建北府兵，是以京口、广陵为基地进行招募的，面向的是南徐州和南兖州地区，而这两个地方正是流民最多的地区，北府兵的组成是以北方流民为主的。据记载，仅仅南徐州从北方逃难来的人口就达到22万，比当地居民还多2万。
流民的家乡被北方的胡人占领，或多或少都和北方的胡人有着仇恨，士气天然就具有优势。由于流离失所，为了在乱世之中生存下去，他们不得不选择抱成一团，杀出一条血路。这种由生存的压力而带来的战斗力，是其它军队无法相比的。而且由于战友基本都有相同的遭遇，关系上不是父子兄弟就是乡里乡亲，非常团结。
北府军名将很多，如刘牢之、何谦、诸葛侃、高衡、刘轨、田洛、孙无终、刘裕等人，不少本来就是流民帅，军事能力及号召力都很强。如刘牢之，他是彭城（今江苏徐州）人，骁勇善战，被谢玄招募为北府兵参军。刘牢之常领精锐为前锋，每战必捷。后来淝水之战时，刘牢之先是率五千精兵在洛涧大败前秦的先锋，击破前秦十名大将和五万主力，然后占淮河渡口，歼敌1.5万。淝水之战后，刘牢之更跟随谢玄北渡黄河进击前秦。后来的桓玄反叛，就是收买了刘牢之才得以成功。
桓玄吞并北府军后，杀掉了原北府军的高素、竺谦之、竺朗之、刘袭、刘季武、孙无终等，然后让桓修和桓弘分镇京口和广陵，至此北府军基本上已被瓦解。后来刘裕在京口重组北府军，和原来的北府军关系已经不大了。辛弃疾很欣赏刘裕：斜阳草树，寻常巷陌，人道寄奴（刘裕小名）曾住。想当年，金戈铁马，气吞万里如虎。
