共 家一門悲慘地逃避到西國，即使是高位的女人們也因為徒步而腳底磨破、鮮血直流。在京都負責治安的木曾義仲將法皇幽禁。法皇請求賴朝協助，於是賴朝派其弟範賴與義經追討。殺死了義仲的義經們隨後出發擊破在四國讚岐的屋島逐漸恢復軍力的平家。
藉由義經之功及法皇的謀略，在一之谷敗北的平家，被迫要以三種寶物交換被源氏俘虜的重衡。賴朝依然沒有停止追擊，義經為準備壇之浦海戰而奔走。忌才的賴朝益加不信任義經。但孺慕兄長的義經依然勇猛果斷地在壇之浦海戰中出奇計。年幼的安德天皇（其實是二皇子）被清盛的妻子二位尼時子抱著一起跳海自殺。
對每天過著寂寞、萬念俱灰、思念亡魂的女院（德子）而言，源氏內部的爭吵等完全與己無關。在寂光院度過六年歲月後，女院病發，念佛希望藉由阿彌陀佛的慈悲接引能往生極樂世界。念佛聲越來越微弱，就在內侍及其他尼姑的呼喚聲中，女院結束了37歲波瀾洶湧的一生。
看盡平家一門結局的就是治部卿局明子。
第四冊是描寫平家逃離京都至西國企圖捲土重來，因此本冊著墨於戰爭，平家因為是公卿、殿上人，非武門，因此平家人個個多才多藝，擅長彈奏各種樂器，還出了好幾位和歌詩人，且不喜戰爭，不夠心狠手辣，若非出身在平家，應該會很幸福，就如同李後主不該生在帝王家。
反觀源氏根據地在西國，民風強悍，個個饒勇善戰，但也因此培育出心狠手辣的個性。源氏嫡流賴朝出於妒忌心，在其勢力漸穩後，一一剷除堂兄木曾義仲（人稱旭日將軍）及同父異母弟源義經。
木曾義仲在源平合戰中大敗當權的平氏一門，威震四方，人稱「旭日將軍（或朝日將軍）」，一度有君臨天下之勢。但由於年輕氣盛，加以特殊的成長背景下（在山區成長）所形成驕傲粗暴的性格，縱容部屬奸淫擄掠大失人心，賴朝因恐其功高鎮主，按個背判罪名討伐之，後因眾叛親離，迅速敗亡，結束短暫30年充滿傳奇性的生涯。
源義經半生扶助兄長源賴朝打江山，源賴朝最後能建立鎌倉幕府，源義經居功厥偉。但做臣子功高蓋主永遠是莫須有的死罪，因此源賴朝當權後，便藉詞源義經謀反而派兵追殺他。日本NHK電台以宮尾登美子的平家物語為藍本，拍攝以日本歷史上著名的傳奇男子源義經之只有31年的光彩奪目卻又短暫的悲劇人生。
在大大小小無數的戰爭中，平家棟梁一一消逝人世。最後的壇之浦背水一戰驚天地泣鬼神，至此平家告別歷史。
