據《道學傳》說，道教創始人張道陵曾在嵩山修道九年。南北朝時，又有著名道士寇謙之在此改革“五斗米道”，創立“新天師道”。峻極門東側的《中岳嵩高靈廟碑》就是當年刻立的，碑文記載寇謙之修中岳廟和傳道的事跡，是關于這位名道最早的記錄。此后，歷代還有不少知名道士在這里主持過道場。峻極門東側還有《五岳真形圖碑》，這一高3米的碑石雕刻著象征五岳的圖象，為明代萬歷年間所刻立。據道教經典《云笈七簽》說，五岳真形圖是道士入山辟邪的護身符，一切妖鬼蟲虎都不能近。如今河南道教協會就設在中岳廟，每年農歷三月和六月廟會熱鬧非凡，這一習俗至今不衰。