长白山的形成早在喜马拉雅造山运动之前，在更新世纪与上新世纪之间，因有地壳断裂的推动作用逐渐隆起一片台地，后来又经过多次的火山喷发活动而形成了以天池为主要火山通道的庞大火山锥体，距今，至少有1200万年的历史了。
在我国最早的一部地理学著作《山海经》中，就曾经有所记载。记载说：“大荒之中有山，名不咸，在肃慎之国”。“不咸山”就是“有神之山”的意思。在东北居住的少数民族——肃慎、沃沮、秽貊、扶余、鲜卑、高句丽、蒙古、契丹等，都对东北境内这座最大的高山景仰和神化，许多有关天女不孕而生的神话都寄托在这里，因此，都称这座山为仙山。
在此之后，魏晋时期所著的《后汉书·东夷列传》中有记载曰：“昭帝始元五年（公元前82年）玄菟徙居勾丽，自单单大岭以东，沃沮秽貊悉属乐浪。”这句话是说，在汉武帝出征朝鲜之后，汉武帝之子汉昭帝于始元五年（公元前82年）便将玄菟族人迁居于高句丽之地，自单单大岭（即长白山）以东的沃沮族、秽貊族皆归属于乐浪。这里的“单单”二字，与满语中的珊延相近。珊延，即白色的意思；珊延大岭，即白色的大山。
《后汉书·东夷传》和《三国志·东夷传》史料中所指“东沃沮”系今图们江流域至朝鲜北境，为一东北至西南走向的狭长地带，其西南部与高句丽接，西部抵今长白山。而“盖马大山”则指今长白山。
以后，在《北史列传·勿吉》篇中又有记载。在南北朝的其他书籍里也常有“徒太山”、“徒白山”之称的出现。后来，又可在《新唐书》卷219《黑水靺鞨传》和《新唐书·渤海传》看到记载。当时对长白山的称呼极不统一，有的叫徒太山，有的叫太白山、太皇山不等。
直到东北的契丹族和女真族定鼎中原，建立起辽王朝和金王朝之后，对于东北的第一座高山，才算出现了规范化的称呼——长白山。在《契丹国志》中的记载曰：“长白山在冷山东南千余里……禽兽皆白。”《辽史·百官志》圣宗统和三十年（公元1012年）：“长白山三十部女直。”《金史》卷一百三十五记载：“黑水靺鞨居古肃慎地，有山曰：白山，盖长白山……”《金史》卷35：“女真地有长白山”；金大定十二年（公元1172年）十二月，封长白山为“兴国灵应王”。大定十五年（公元1175年）三月，奏定封册仪物，每年春秋二仲择日致祭。明昌四年（公元1193年）十月，“复册为开天弘圣帝”。清代沿用长白山名。《清史稿》：“长白山在此，上有天池，旧曰闼门。”长白山这个名字，是以该山特征为内涵的，历史上对该山的特征记载颇多。《盛京通志》：“山巅不生他树，草多白花”；《长白汇征录》：“山上经年积雪，草木不生，望之皆白，故名曰长白山。”《大清一统志》吉林山川混同江条：“今名松花江，源出长白山，北流会嫩江、黑龙江入海，即古粟末水也。”又吉林山川长白条云：“古名不咸山，下名太白山，亦名白山。”
特别要指出的是，在中原建立起金朝的女真族，一直把长白山作为他们的发祥地，经常要对长白山顶礼膜拜，以求保佑其国运昌隆，帝祚永延。金世宗完颜雍刚刚登基不久，就于大定十二年（公元1172年）册封长白山为兴国灵应王，并命当时著名文人翰林院修撰党怀英修撰《封长白山为灵应王册文》，文中极力把长白山神化起来。皇帝又于大定十五年（公元1175年）在长白山北建立灵应王神庙，命大臣持节备礼并带着这份《册文》前去祭奠。
十年之后，金世宗皇帝于大定二十五年（公元1185年）册封了源出于长白山之大江松花江（当时名为混同江），并命大臣写了《封混同江神为应圣公册文》，持节备礼前去祭奠。金世宗更加神化了他祖先的发祥地――长白山和由山上流淌下来的松花江，说由于有了这圣山水，他的祖先金太祖完颜阿骨打才能够一路神威，扫平辽国、掳北宋微、钦二帝，并一度渡江占领了南宋京城，说这赫赫武功全仗长白山神和混同江神的天助神佑，才使得太祖天兵神速渡江。
到了他的儿子金章宗完颜璟时，这位文武全才的皇帝于昌明四年（公元1193年）晋封长白山为“开天宏圣帝”，较之其父金世宗所封的王、公之爵位又高出一格，将其与天上的玉帝、地上的皇帝划为同一级别，位列于金朝开国弘治的圣帝的位置上。
到了清代，对于长白山的崇仰更是登丰造极。长白山作为满族的族源，也就是满族的发祥地。无论是肃慎，挹娄，还是勿吉，莫赫（靺鞨）亦或是女真，都指的是满族，长白山是满族之根之源，此根此源是民族的象征，也是长白山文化的一个源兴活水。明朝万历十一年，努尔哈赤率部起兵，终于1644年率领膘悍的八旗兵入主中原，建立了大清王朝。因此清朝一直把长白山视为圣祖发祥之地，并将长白山尊为“长白山之神。”
清代很多重要典籍中都记载了仙女吞朱果而生爱新觉罗氏之先人的神话；而且树立柳条边封禁长白山区为圣地，禁止民人进山放牧、狩猎和采参。清代的几位有作为的皇帝康熙、雍正、乾隆、嘉庆都亲自来东北祭祀其祖先的发祥地――长白山、在附近建成望祭殿，以望祭长白山神。清乾隆十九年（公元1754年），乾隆皇帝巡幸吉林，亲临温德亨望祭殿望祭长白山神。而且，还写了大量的咏赞祭告长白山的诗文。康熙有《望长白山》的诗和《祭告长白山文》（两篇），乾隆有《祭告长白山文》五篇，嘉庆有《长白山告祭祝文》二篇，写得都有声有色，叹为观止。
直到清末，安图知县刘建还向朝廷上折奏请曰：“长白山为我朝发祥之地，天生圣人，削平区域于万斯年”，因此他建议上山重修神庙，以供俸长白山之神。经朝廷批准，这位知县组织人马四次登山察视，并摄下长白山名胜之地的照片40余张，归后编成《长白山灵迹全影》影集呈奏于朝廷。
然而，沧海桑田，世事变迁，一段历史的起源与终结往往有惊人的不可思议之处。满族起源于长白山，并以此为根基兴盛而建立大清国。而清朝最后一个皇帝溥仪退位之处就在长白山脚下鸭绿江边的大栗子镇。兴于此衰于此，历史总是有惊人的巧合。
民国初期至抗日战争，日本帝国主义觊觎我国关东物产，烧杀掠夺，无恶不作。长白山区的中华儿女。凭借着高山密林，与日本侵略者展开了艰苦卓绝的斗争。沉重地打击了日本侵略者。
新中国成立以来，十分重视保护长白山地区的生态系统。早在1960年就建立了以保护温带生态系统为主的长白山自然保护区；1980年1月，经联合国教科文组织批准，长白山自然保护区列为国际人与生物圈保护网，被列为世界自然保留地；1986年9经林业部审定，国务院批准，长白山自然保护区又被列为国家级森林和野生动物类型自然保护区。