香山寺坐北朝南，寺后縣崖峭壁，怪石嶙峋，寺前坡度稍夷，有石階120多可達寺門。寺內有北宋熙寧元年(1068年)重建的大悲觀音大士塔，為八角九級密檐式磚塔，造型別致，古雅秀麗。塔基向南有一洞，為玉佛洞，內有"玉石佛"一尊，體態端莊，雙目欲睜似閉，神氣超脫;塔底層有"千手千眼佛"一尊，立于洞中。