平家一門帶著安德帝遷都福原。在東國的源賴朝企圖打倒平家。1180年夏天,高倉上皇的第四皇子尊成親王誕生時,怪僧文覺獲得追討平家的院宣(後白河法皇的令旨),於是被流放的罪犯賴朝揭旗舉兵。得知源氏武裝蜂起,平家一門以維盛為大將率軍征討。源平兩軍隔著富士川佈陣,卻因夜半水鳥的振羽聲,平家軍誤以為是敵軍奇襲,於是不戰而逃、不戰而敗,蔚為世人笑柄。平家一門再度回到京都,院政重開。身為官軍的平家陸續平定源氏的叛軍。
翌年,高倉上皇駕崩。平時忠計畫讓中宮德子成為後白河法皇的後宮。但因德子拒絕,改由嚴島內侍之女(平清盛之女)御子姬代為進宮成為法皇養女。一個月後,清盛突然高燒病倒,不久就去世。清盛之妻時子為了加強一門的團結,對其子宗盛假傳遺囑,希望能打倒源氏。相繼的戰事中,平家軍雖然在墨川之戰獲勝,越前水津之戰卻敗北。儘管戰事不利,平家一門陸續登上高位,德子被授予建禮門院的女院封號。
另一方面,賴朝以鎌倉為根據地,和同父弟義經相逢,木曾義仲在信濃擁有大軍。1183年,維盛的十萬大軍為了打倒義仲向北國進軍。俱利迦羅谷、志雄、藤原相繼慘敗。而且敗走中將已故重盛愛用的歷代武具、黃櫨色鎧甲用來交換米糧。宗盛想盡辦法用鉅款向商人買回,想交給自己的嫡子清宗。
源氏大軍逐漸接近京都。平家派出三千騎迎戰源義仲及行家的軍隊,卻立刻就返回京都。召開作戰會議後,決定先退到西國,再徵兵作戰。
源氏軍終於入京,聽到要離開京都的消息,法皇先行逃到比叡山。平家一門帶著安德帝到西國。