於是祖逖帶着一百多人的隨從渡江北上開始了征討的歷程,面對滾滾東去的長江水他激情澎湃心裏不能平靜,祖逖用船槳擊打着水激昂地説道:“我祖逖今生不收復中原決不回去。”隨行的人都為之所感動。祖逖渡過長江到了北方暫駐淮陰,不久就組織了一支兩千多人的隊伍與此同時,起爐冶鐵,鑄造兵器,為收復失地的戰鬥做着準備。
公元317年他帶領大軍在譙城(今安徽毫縣)打敗了石勒的軍隊,僅三年的時間就收復了黃河以南的大部分地區。他時刻謹記自己的誓言“不收復中原決不回去”。
祖逖北伐時,也就是東晉大興二年(319)農曆6月,石虎派桃豹據浚儀,屯兵西台,從南門出入,祖逖則派韓潛據東台,由東門出入,兩軍相持四十日。雙方都已經到了彈盡糧絕的時候,祖逖決定設計智取,於是命令把沙土裝在糧袋裏,假裝成米,讓一千多人像運送軍糧一樣,忙忙碌碌運上東台。又故意讓幾個人真的挑着大米,走在後面,佯裝疲憊在路上休息,等敵軍來搶米。桃豹的軍隊缺糧已久,見晉軍運糧,以為有機可乘,突然衝過來搶糧,那幾個人扔下糧袋倉皇逃跑。桃豹軍中無糧,最終連夜撤軍。桃豹跟隨石勒東征西討,也是曾經和東晉大將祖逖北伐戰鬥中鬥智鬥勇的一名老將。
傳説祖逖收復河南後,休養生息,善待百姓。一次,他設宴招待當地耆老。耆老都流着眼淚道:"我們老了,卻能得到祖將軍這樣的父母官,雖死無憾。"祖逖作歌道:
"幸哉遺黎免俘虜,
三辰既朗遇慈父,
玄酒忘勞甘瓠脯,
何以詠恩歌且舞。"
太興四年(321年),晉元帝任命戴淵為徵西將軍、都督司兗豫並雍冀六州諸軍事、司州刺史,出鎮合肥。 祖逖認為戴淵雖有才望,卻無遠見卓識,而且自己辛苦收復河南,卻仍不得朝廷信任,心中甚為不快。不久,祖逖又聽聞王敦跋扈,朝廷內部矛盾日益尖鋭的消息,擔心內亂爆發,北伐難成,以致憂憤成疾。
祖逖雖患病,但仍圖進取,抱病營繕虎牢城。虎牢城北臨黃河,西接成皋,地理位置非常重要,他擔心城南沒有堅固的壁壘,易被敵軍攻破,特意派從子祖濟率眾修築壁壘。但壁壘尚未修成,祖逖便在雍丘病逝,時年五十六歲。
據説祖逖去世前,豫州分野有妖星出現。術士戴洋預言:"祖豫州九月當死。"妖星出現後,陳訓道:"今年西北大將當死。"祖逖自歎道:"妖星應在我身,本想進軍平定河北,而天欲殺我,這是對國家不利的徵兆啊。"不久祖逖便去世了。
祖逖死後,豫州百姓如喪父母,譙樑百姓還為他修建祠堂。晉元帝追贈祖逖為車騎將軍,並命其弟祖約接掌其部眾。 後趙趁機入侵河南,祖約難以抵禦,退據壽春。祖逖收復的河南大片土地最終又被後趙攻陷。
一代大將滿腹的抱負不被朝廷重用,你又能奈何