公元三一七年，得知晉愍帝被俘虜消息的祖逖，決心北伐。三一七年，祖逖毅然從京口渡江北上進(jìn)駐蘆洲。祖逖派殷乂去聯(lián)絡(luò)張平、樊雅二人，意圖拉攏張樊二人。哪知殷乂輕蔑張平，氣不過的張平怒殺殷乂，并擁兵固守，與北伐軍對(duì)抗。祖逖用計(jì)平定豫州張平，后乘勢(shì)剿滅了譙郡樊雅，攻克譙城。祖逖以譙城為根據(jù)地，且戰(zhàn)且耕，同時(shí)又得到了晉朝的南中郎將王含的資助，附近的一些塢主多來依附，從而收復(fù)了河南的大片失地，聲勢(shì)大增，終于在豫州站住腳跟，打通了北伐的通道。

六月，石勒派遣石虎圍困譙城，桓宣率軍救援，得知消息的石虎退兵而去。石虎退走后，恒宣主動(dòng)留在譙城，協(xié)助祖逖征討不肯歸附的塢堡武裝。

公元三一八年，晉愍帝死于漢國(guó)的訃告?zhèn)鞯浇瓥|，司馬睿在建鄴進(jìn)皇帝位。同年蓬陂塢主陳川叛晉，派遣部下劫掠豫州諸郡。祖逖則針鋒相對(duì)，命衛(wèi)策在谷水伏擊，盡獲其所掠之車馬子女，祖逖下令，將車馬子女全部歸回原主，軍隊(duì)一點(diǎn)也不截留。陳川大為驚恐，公元三一九年四月，陳川以浚儀為獻(xiàn)禮投降石勒。

同年八月，漢趙君主劉聰患病駕崩，其子劉粲繼位。不久，漢趙外戚權(quán)臣靳準(zhǔn)發(fā)動(dòng)政變，殺死劉粲，并將居于平陽(yáng)的匈奴劉氏宗室無論少長(zhǎng)皆斬于東市，自號(hào)大將軍、漢天王，遣使向東晉稱藩。靳準(zhǔn)想把西晉滅亡時(shí)被前趙搶奪的傳國(guó)玉璽，交由降漢晉人胡嵩送往江東晉廷，并對(duì)晉元帝稱：“屠各小丑安敢稱王，亂大晉使二帝播越。今送二帝梓宮于江東。”胡嵩一頭霧水，不知道他的目地是什么，便不敢送璽，被靳準(zhǔn)一劍殺了。晉元帝更是不解，天下哪有這么好的事情？但是還是派太常韓胤去試一試，果然把懷帝和愍帝的棺材接了回來。

次年四月，祖逖率軍在蓬關(guān)征討獻(xiàn)城投降石勒的陳川。石勒知道陳川不是祖逖的對(duì)手，于是派遣石虎率領(lǐng)五萬(wàn)大軍救援陳川。兩軍在浚儀交戰(zhàn)，祖逖兵敗退守淮南。石虎在豫州進(jìn)行了一番洗劫之后，也帶著陳川回師襄國(guó)，只留下將領(lǐng)桃豹戍守蓬陂塢。

公元三二零年，石虎派桃豹據(jù)浚儀，屯兵西臺(tái)，從南門出入，祖逖則派韓潛據(jù)東臺(tái)，由東門出入，兩軍相持四十日。當(dāng)時(shí)，雙方糧草供應(yīng)都很緊張，祖逖命令把沙土裝在糧袋里，假裝成米，讓一千多人像運(yùn)送軍糧一樣，忙忙碌碌運(yùn)上東臺(tái)。又故意讓幾個(gè)人真的挑著大米，走在后面，佯裝疲憊在路上休息，等敵軍來?yè)屆?。桃豹的軍?duì)缺糧已久，見晉軍運(yùn)糧，以為有機(jī)可乘，突然沖過來?yè)尲Z，那幾個(gè)人扔下糧袋倉(cāng)皇逃跑。桃豹軍士搶得糧米后，以為祖逖士兵都能吃飽，而自己長(zhǎng)久饑餓，于是更加恐懼，士氣低落。這時(shí)，石勒部將劉夜堂用一千頭驢運(yùn)糧食給桃豹，祖逖偵知消息，派部將韓潛、馮鐵等部在汴水截?fù)簦M獲其糧食和腳力。桃豹聞?dòng)崳B夜退兵東燕城。祖逖乘勝進(jìn)軍，派韓潛進(jìn)屯封丘，威逼桃豹，馮鐵部進(jìn)據(jù)二臺(tái)，自己統(tǒng)兵鎮(zhèn)守雍丘。擊退桃豹后。祖逖又屢次派兵截?fù)艉筅w軍，后趙很多城鎮(zhèn)紛紛叛趙歸晉，使石勒在河南的力量迅速萎縮。

經(jīng)此一戰(zhàn)，祖逖成功收復(fù)黃河以南中原地區(qū)的大部分土地，晉元帝下詔擢升他為鎮(zhèn)西將軍。石勒見祖逖勢(shì)力強(qiáng)盛，不敢南侵，于是致書祖逖，愿握手言和。祖逖見石勒主動(dòng)示好，便同意與石勒修好，禁止邊將進(jìn)侵后趙，邊境暫得和平。

公元三二零年，司馬睿與王家的關(guān)系日益緊張。同年梁州刺史周訪病逝，湘州刺史甘卓調(diào)鎮(zhèn)梁州，王敦趁機(jī)請(qǐng)求以親信陳頒接任湘州刺史。湘州所處位置十分重要，進(jìn)可牽制荊州，退可扼守江南，因此司馬睿不愿讓湘州被王敦所控制，于是派司馬承為湘州刺史。算盤落空的王敦意圖進(jìn)兵建康，卻覬覦祖逖的威壓，遂打消了這個(gè)念頭。

公元三二一年晉元帝任命戴淵為征西將軍、都督司兗豫并雍冀六州諸軍事、司州刺史，出鎮(zhèn)合肥，同時(shí)將所征發(fā)的兵卒全部分配給戴淵、劉隗，以防備王敦。而辛苦收復(fù)河南的祖逖，卻仍不得朝廷信任，心中甚為不快。而此時(shí)王敦和司馬睿的關(guān)系愈發(fā)緊張。祖逖知道王敦素來跋扈，司馬睿用劉隗、刁協(xié)、戴淵等人來壓制王家，遲早會(huì)導(dǎo)致朝廷內(nèi)亂，那自己辛苦經(jīng)營(yíng)的北伐之路怕是要止步于此。憂心忡忡的祖逖憂憤成疾，與三二一年九月病逝。

石勒得知祖逖病逝，于是再度南侵。祖約抵擋不住，節(jié)節(jié)敗退至壽春。于是石勒留兵駐屯豫州，豫州再進(jìn)入后趙的勢(shì)力范圍。攻下豫州后，石勒進(jìn)軍侵?jǐn)_徐、兗二州，晉軍節(jié)節(jié)敗退，至此豫州、徐州、兗州被石勒所控制，而祖逖的北伐最終以失敗告終。

石勒舉兵南侵之際，東晉朝廷又陷入了王敦之亂，無暇顧及河南之境。此時(shí)東晉內(nèi)亂，于石勒而言，南方的東晉暫時(shí)構(gòu)不成威脅。處于保險(xiǎn)，石勒還是派使前往東晉，提議以黃河為界，握手休戰(zhàn)。東晉朝臣也害怕石勒趁著內(nèi)亂出兵南下，便欣然同意。沒有了后顧只有的石勒出兵攻伐劉耀的前趙，于公元三二九年俘虜前趙君主劉耀，至此石勒幾乎占領(lǐng)了整個(gè)北方。