中岳廟的前身為太室祠。據《山海經 中山經》載：先秦之世，已立有太室之祠。秦統一后，詔令祠官向太室、恒山、秦山等名山祠廟供奉牛犢、 幣及脯酒等。西漢時，武帝劉徹于元封元年（公元前110年）三月游幸中月太室山，有山呼萬歲之紀，遂令祠官加封太室祠 ，禁伐山麓草木，并以山下三百戶賜為奉邑，名"嵩高邑"。東漢安帝元初五年（118年），又在祠前建造"中岳太室陽城神道闕"和石翁仲雕像。北魏三次遷建此廟，并留下了珍貴的"中岳嵩高靈廟之碑"。唐、宋之際，中岳廟建設規模、地位達到了鼎盛時期。唐武則天垂拱四年（688年）七月改嵩山稱"神岳"，封岳神為"天中王"，配"天靈妃"。天授元年（690年）九月，武則天改國號為周，天冊萬歲元年（695年）臘月，封禪神岳，改元"萬歲登封"，尊岳神天中王為"神岳天中皇帝"，天靈妃為"天中皇后"。唐玄宗李隆基開元年間（713-741年）中岳廟定位今址，后無大改。北宋建國后的第四年（963年），太祖趙匡胤便令祠官為岳神制作衣冠劍履；太宗趙匡義太平興國八年（983年），贈五岳封號，尊中岳之神為"中天崇圣帝"，帝后封"正明"。真宗趙恒大中祥符六年（1013年）始，用兩年時間增修廟中殿宇、碑樓等850間，塑各神像、裝修新舊壁畫470所，并為縣令兼廟令，岳廟規格之高可由此想見。經過唐、宋的大力整修，中岳廟已形成了"崇墉繚繞，屹若云連"的壯觀宏偉的規模。金、元、明、清歷代也不斷中岳廟加以維修，建筑雖隨時代的不同有風格是的變化，但宏偉的建筑群格局仍十分可觀。