傳說陽春三月初三，春暖花開，漢高祖劉邦偕新貴妃薄姬一行春游，中午時分，劉邦等人熱渴難耐，令隨從尋水。隨從在白云山腳下發現了一股泉水，劉邦飲之，頓覺甘甜爽口，燥氣盡消，脫口贊道：“真乃妙水也，妙水也！”該泉后來便稱為妙水。公元25年，劉秀推翻王莽政權，建立東漢，定都洛陽，把今臨汝鎮一帶辟為“南囿”。公元58年，漢明帝繼位。這時佛教已由西域傳入中原，漢明帝夢佛求經，建立白馬寺。但因白馬寺不依山傍水，不是游玩的好地方，只能作藏經之地。于是便在“南囿”依山傍水的妙水涌泉上游建起一所寺院，作為皇家臨時歇腳之地，這就是妙水寺。妙水寺出土的殘碑記載：“蓋聞妙水寺其來遠矣，肇自漢明帝。”

    另據傳，在緊靠白云山的銀洞山懸崖峭壁上有個銀洞，內有水潭，深不可測，有人把棒槌丟入潭內，第二天卻在寺內的清水池中發現。妙水寺由此得名。