黃山原名黟山，因峰岩青黑，遙望蒼黛而名。後因傳軒轅黃帝曾在此煉丹成仙，唐玄宗信奉道教，故於天寶六年六月十七日改為「黃山」。

黃山徽派內涵深廣，是中國三大區域文化之一，涵蓋了哲、經、史、醫、科、藝諸多領域。

明朝旅行家、地理學家徐霞客兩次登臨黃山，讚嘆說：「五嶽歸來不看山，黃山歸來不看嶽」。徐霞客評黃山有「泰岱之雄偉、華山之險峻、衡岳之煙雲、匡廬之飛瀑、雁盪之巧石、峨嵋之清秀」。並被世人譽為「天下第一奇山」。1979年鄧小平遊覽黃山，說「這裡是發展旅遊的好地方，是你們發財的地方，要有點雄心壯志，把黃山的牌子打出去」。

黃山1982年入選第一批國家重點風景名勝區；1986年黃山被評選為中國十大風景名勝之一，且是中國十大風景名勝中唯一的山嶽風景區；1990年12月黃山風景名勝區作為一項文化與自然雙重遺產被聯合國教科文組織列入世界遺產名錄；2004年2月入選世界地質公園。2015年被世界自然保護聯盟列為首批最佳管理自然保護地綠色名錄。
  維基百科