據傳寺內所奉三皇姑為楚莊王之三女妙善。初在縣城東部白雀寺出家，繼在香山寺修成正果，稱大悲觀世音菩薩，亦稱千手千眼佛。浙江普陀山有普陀寺者，為觀世音菩薩顯靈說法道場。故白雀寺、香山寺、普陀寺遂傳為佛教圣地，而突出宗教色彩的真香山唯獨于此。

    香山寺座北向南，占地約6萬平方米。寺后懸崖峭壁、怪石嶙峋，寺前坡勢稍夷，自山腰四大天王殿至山門間，有石階120級。寺院建筑，規模宏大，布局合理。八角九級觀音大士塔，雄踞中央。該塔始建于北魏，重建于北宋熙寧元年（公元1068年）。1986年被河南省人民政府公布為省級重點文物保護單位。此塔平面呈八角形，高33米，塔身外壁第二、第三有壁龕數面，第二和第五層外壁拱券門，其余各層均為素面青磚平砌而成。由下而上每層高度遞減，呈八棱錐體，每層用疊澀磚砌塔檐，結構堅固、雄偉，造型端莊秀雅。潔白的塔身沐著艷陽，益發顯得挺拔、飄逸。塔券洞內有香山大悲菩薩傳碑一通，碑高2.22米，寬1.46米，碑文49行，滿行78字，楷書，由北宋通議大夫同知樞密院事蔣之奇撰文，翰林院大學士知制兼侍讀，蔡京書丹。碑文記述觀音菩薩妙善出家修練得道的神話故事。該碑在國內外佛學界有較大的影響，1976年曾應英國牛津大學特邀展出該碑之拓片。

    寺內碑碣林立，有明代崇禎元年戊辰科狀元書畫名家劉若宰書寫的“重修大悲觀音大士塔記”狂草碑一通，有金代唐國公主附馬所立的“重建汝州香山觀音禪院記”碑一通（殘）。寺西南隅塔林，占地40余畝，有歷代僧尼舍利磚塔47座，石塔30余座。

香山寺自東漢末建，歷經宋、金、元、明、清、屢遭戰亂，幾經破壞，但寺院隨廢隨興，香火未絕。北宋始，曾有數朝天子敕賜重建。金代唐國公主曾偕同附馬來此參拜，并捐巨資；明代朝廷再興古寺，皇帝親自題寫“香火普門神寺”匾額；清政府又加以修葺與擴建。香山寺的鼎盛時期，海內高僧俱臨禪門，早晚鐘鼓齊鳴，四時法事不歇。

    香山寺在文化大革命中慘遭洗劫，除觀音大士塔及少數碑碣外，余皆無存。改革開放后，經政府撥款并僧俗捐助，先后加固了觀音大士塔，重建了大悲正殿、大雄寶殿、觀音殿、地藏王殿、伽藍殿、祖師殿、包公殿、九老閣、藥祖殿、天王殿等殿堂、樓閣，并重塑金像、復施彩繪，使古剎再現神采。如今每年每月十五日即大悲觀音菩薩成佛日及每月初一、十五均成為香火大會，遠道善男信女崇敬朝拜，四方游客云集，香火經久不衰。