據史志記載,東漢延熹八年(公元165年),漢桓帝劉志派中常侍管霸前來創建,始名老子廟。唐祖武德三年(公元620年),李淵為了便于對天下的統治,抬高家族地位,就聽從吉善行的建議,認老子為祖宗,派人在漢老子廟的基礎上予以擴建,規模如京城王宮,做為皇室家廟。乾封元年(公元666年),唐高宗李治追封老子為“太上玄元皇帝”,并增建“紫極宮”、“太清樓”,改廟名為“玄元廟”。到武則天光宅元年(公元684年),又冊封老子母為“先天太后”,在漢李母廟的基礎上,擴建成洞霄宮,位置在太清宮北一里。至玄宗李隆基時,太清宮又有增建,規模達到鼎盛,占地八頃七十二畝,周圍四十里,宮內建筑排列有序,瓊樓玉宇,金碧輝煌。太清宮稱前宮,洞霄宮稱后宮。前宮祀老子,后宮祀李母。兩宮中隔一河,河上有橋。河名“金水”,橋稱“會仙”。
唐開元年間,玄宗皇帝又親朝太清宮,為老子上尊號“大圣祖高上金闕天皇大帝”,改廟名為太清宮,又親手為五千言《道德經》作注,刻石立于太清宮。該碑至今猶存,和太清宮及其所余歷代碑刻一起,于八六年列為河南省重點文物保護單位,于2001年又升格為全國重點文物保護單位。有唐一代,皇室常駐五百軍士鎮守太清宮。 唐末黃巢起義,太清宮毀于兵事。宋真宗年間重建,又撥國庫款重修太清、洞宵二宮,規模比唐時有加。重修時并立有“大宋重修太清宮之碑”、“先天太后之贊碑”、“會真橋記”等碑刻,碑刻至今尤存。重修后,真宗皇帝親率滿朝文武來太清宮朝拜。