黄山历史悠久，远在六、七千年前，即公元前51世纪，我国母系氏族社会的后期，人类就已经在这片美丽富饶的山区劳动生息了。
在距今三、四千年的殷商时期，这里就居住着一支叫山越的先民。山越乃百越中的一支。
在春秋战国时期，这里先属吴，吴亡属越，越亡属楚。秦始皇统一六国之后，实行郡县制，这里为会稽郡属地。
南朝时开始设置新安郡，郡府搬迁又始终未离开新安江上游，徽州古称新安，其源盖出于此。宋代徽宗宣和三年五月廿四日（公元1121年），歙州被诏改为徽州。
关于徽州名称的起源，一说因其境内有徽岭、徽水、大徽村等，州则因地得名；另一说赵宋王朝是取“徽者、美善也”之意，炫耀他对这一地区的失而复得。此二说并存了八百多年，州名亦被历代沿用至今，清康熙六年（公元1667年）建省的时候，就是摘取安庆、徽州二府首字作为省名的。
徽派文化底蕴丰富，内涵深广，是我国三大区域文化（藏学、敦煌学、徽学）之一，涵盖了哲、经、史、医、科、艺诸多领域。黄山市位于皖浙赣三省结合部，群山环抱之中，古代徽州历来有“山深不偏远，地少士商多”之说。每当中原战乱之秋，这里就成了藏龙卧虎之地，它既是乱世的世外桃源，又是治世的人才宝库。古徽州文风昌盛，教育发达，“十家之村，不废诵读”，因此历史上以才入仕、以文垂世者，代不乏人，灿若繁星。《辞海》的单列条目中，徽州名人有50多人，列全国各州府之首。据不完全统计，明清两代中进士542人，举人多达1513人，“连科三殿撰，十里四翰林”、“父子宰相”、“四世一品”者并不鲜见。明清时代徽商称雄商界长达二、三百年，有“无徽不成镇”之说。
徽商贾而好儒，“官、贾、儒”三位一体，形成了独具特色的徽州文化，历史上各种人才应运而生，学术研究异彩纷呈。例如，活字印刷术创始人毕升，宋代理学集大成者朱熹，明清三朝元老、军机大臣许国（历仕明嘉靖、隆庆、万历）、曹振镛（历仕清乾隆、嘉庆、道光），富可敌国的大盐商鲍漱芳，著名戏剧家汪道昆，医学家汪机、汪昂，徽墨、歙砚高手李廷、李少微，新安画派的创立者和近代著名代表渐江、黄宾虹，哲学家戴震，理财家王茂荫（马克思《资本论》中提到的唯一中国人），珠算大师程大位，近代教育家、学者有陶行知、胡适，音乐家张曙，还有工程技术专家詹天佑、郑复光，孙中山元帅府秘书长、近代法学家徐谦等，都是徽州人。
同时，由徽商兴盛而形成了新安理学、新安医学、新安画派、徽派盆景、徽墨歙砚、徽派建筑、徽雕、徽刻、徽剧、徽菜等独具地方特色的文化流派。现已发现地面文物4900多处，其中列入国家和省级重点保护的45处。直至今日，黄山大地上仍遍布古桥、古塔、古亭阁、古宗祠、古牌坊，犹如一座天然的历史大博物馆。
