控制了江、荊二州的桓玄自以爲已經擁有了東晉三分之二的疆土，所以多次讓人呈上他可以做君主的天命符徵和吉兆，打算用這些來迷惑百姓，又給會稽王司馬道子寫信說：“孫恩那些盜賊，上次逼近京城的近郊，因爲風不順纔沒有能夠攻打進來，又因爲天降大雨，所以沒有機會運用火攻，在糧食吃完之後，自然便回去了，並不是因爲力量不足。過去，王國寶死了以後，王恭並沒有乘勢去統領朝廷的政務，這就完全可以看出他的居心，對您沒有絲毫的不敬和侮辱。但是，您卻說他不忠。現在朝中的權貴要員中，享有美譽的是誰呢?怎麼可以說是沒有更好的人才呢?只是您不能信任罷了!正是因爲這樣日復一日，才釀成了今天的禍患。在朝廷的那些王公大臣們因爲害怕大禍臨頭，所以不敢說實話，桓玄我有愧遠在外地任職，纔有膽量揭露這樣的事實。”
司馬元顯看到了這封信，又氣又怕。
張法順對司馬元顯說：“桓玄憑藉他家的名望和資歷，素有豪氣，已經吞併了殷仲堪和楊佺期，自己獨霸了荊楚一帶的廣大地區，但是您所能控制的真正可以算做屬於您的疆界，也不過三吳之地罷了。孫恩製造禍亂，使東部地區損失巨大，一片荒蕪，朝廷、百姓積蓄枯竭，生活窘況，桓玄一定會乘機大肆施展他的奸惡兇殘的手段，實現他的陰險目的，我認爲這是值得我們憂慮的一件事情。”
司馬元顯說：“那我們能怎麼辦?”
張法順說：“桓玄剛剛把荊州強佔到手，當地百姓的人心和情感還沒有完全歸附他，因此，他也正在努力平定局勢，安定民心，沒有功夫考慮別的事。如果乘着這個時機派遣劉牢之爲前鋒，您隨後親自帶領大部隊進發征剿，那麼，桓玄一定可以被我們消滅的。”
正好，武昌太守庾楷因爲桓玄與朝廷要結下仇怨，擔心事情以後不成功，大禍會牽連自己，所以偷偷地派人前來，主動向司馬元顯投靠，說：“桓玄非常不得人心，他的部下也不太聽從他的命令，如果朝廷這時派軍隊去征討，那麼我一定做內應。”
司馬元顯非常高興，馬上派遣張法順到京口去，找劉牢之商量，劉牢之卻覺得征討桓玄有困難。張法順回來對司馬元顯說：“我觀察劉牢之的表情言談，一定是與我們有二心，所以不如把他召到京城來殺掉，如果不這樣，他就會壞了我們的大事。”
司馬元顯沒有聽他的話，只是從此開始大規模訓練水上部隊，徵選兵卒，裝備戰艦，準備用來對桓玄發動進攻。
第二年正月，朝廷頒下詔書，歷數了荊州刺史桓玄的罪狀，任命司馬元顯爲驃騎大將軍，都督十八州諸軍事，又任命劉牢之爲前鋒都督，司馬尚之統率後衛部隊，內外戒嚴，準備前去討伐桓玄。
司馬元顯想借此機會把桓氏家族的人全部殺光，中護軍桓修是王誕(王導的曾孫)的外甥，王誕又很得司馬元顯的信任，他向司馬元顯稟告了桓修等人與桓玄的志趣完全不同，司馬元顯才放棄了那個想法。
張法順又對司馬元顯建議說：“驃騎司馬桓謙兄弟常常當長江上游荊州方面的耳目，爲桓玄提供情報，應該把他們斬了，來杜絕今後類似奸計陰謀的發生。而且此次出軍討伐桓玄，能否達到預期目的，關鍵就在於前鋒部隊的表現。劉牢之爲人反覆無常，萬一他那裏發生什麼變化，我們就會大禍臨頭，所以，您可以讓劉牢之去殺掉桓謙兄弟，來證明他和我們沒有二心，如果他不接受命令，那麼我們也好防患於未然。”
司馬元顯不以爲然地說：“現在如果沒有劉牢之，我們根本沒有人可以與桓玄對敵，況且剛開始準備發兵，便誅殺自己的大將，容易使人心不得安寧。”一而再、再而三地拒絕張法順的請求，不加允許。
他又因爲桓氏家族世代都得到荊州一帶居民的歸附，桓衝尤其是爲那裏的百姓留下了很多好處，而桓謙又是桓衝的兒子，所以把桓謙調任去都督荊州等四州諸軍事及荊州刺史，打算用這種方法收買西部地區百姓的人心。
東部地區由於遭受孫恩所導致的戰亂的影響，再加上災荒年景，百姓飢餓貧困，水路的糧食運輸不能繼續。桓玄趁機緊閉斷絕了長江通道，致使官府和私人間的物資積蓄全部空乏，部隊也只能用一些糧食的麩皮和橡樹的果實給士兵充飢。
桓玄知道朝廷正處在多事之秋，值得憂慮的事情很多，估計他們一定沒有閒暇來討伐自己，因此，可以趁此機會積蓄力量，等待時機。等到朝廷征討他的大部隊就要出發的時候，他的堂兄桓石生祕密地用書信告訴了他這個消息，桓玄大吃一驚，打算把部隊全部集結到江陵來據守。
長史卞範之勸諫說：“明公的威名振於遠近，司馬元顯卻是個乳臭未乾的小孩子，劉牢之已經非常喪失民心了，如果我們把大部隊搶先開拔到建康附近的地區，向他指明安危禍福，那麼，他們土崩瓦解的趨勢就在眼前了。怎麼能把敵人引進自己境內的心腹重地，自找麻煩呢?”
桓玄聽從了他的話，留下桓偉鎮守江陵，向朝廷呈上奏表，並把檄文公告傳遍各地，揭露司馬元顯的各種罪行，同時揮師向東部進發。
檄文傳到都城建康，司馬元顯看到後，非常害怕。到了二月，晉安帝爲司馬元顯餞行，司馬元顯由於害怕桓玄，雖然硬着頭皮登上了戰船，卻沒有馬上出發。
而桓玄從江陵出發後，也時刻在擔心這次大規模軍事行動不能取勝，因此，已經做好了隨時向西撤退回軍的打算，一直等到他的部隊過了尋陽，還沒有看見朝廷的軍隊，桓玄心中非常高興，其他將士的鬥志和士氣也振作、旺盛起來。
庾楷做朝廷內應討伐桓玄的陰謀泄露，桓玄把他囚禁了起來。
東晉朝廷派遣齊王司馬柔之持騶虞幡到荊州、江州兩地及軍中展示，告諭他們趕快停止軍事行動，結果被桓玄的前鋒將領給殺了。
桓玄抵達了姑孰後，派遣馮該等人進攻歷陽。司馬休之據城堅守，桓玄的部隊切斷了洞浦道路，焚燒了豫州的艦船。
豫州刺史司馬尚之率領步兵九千多人，在洞浦之上擺開戰陣，派遣楊秋駐紮在橫江，但楊秋卻投降了桓玄的部隊。司馬尚之的部隊立刻潰散，他自己也逃到塗河之中，被桓玄抓獲。司馬休之出城迎戰失敗，只得放棄城池逃走。
