很早很早以前，青龍山下曾經是一片荒草凄凄的平地，一個外地的老和尚走到山腳下，就實在走不動了。他在荒草間坐下來休息時睡著了，竟做了一個夢：夢見佛主說這地方是塊風水寶地，要他在這修建一座祥云寺。

    當他醒來時，忽然發現他的弟子們都來了，一問，弟子們說，是他托夢讓他們來的。老和尚感到事情很是神奇，就決定留下來按佛主的意思修建一座寺廟。說也奇怪，修寺時，如果發現木材不夠，第二天就會有人給送木材，如果發現磚瓦不夠，就會有人給送磚瓦。總之，缺什么就會有人給送什么，這樣，寺院很快就建成了。

    而最可信的一說。祥云寺是是唐太宗李世民建的。在唐代，佛教備受推崇。據歷史記載，李淵在起兵反隋時，就對佛教許下大愿，說當了皇帝，一定大弘三寶。

    李淵當上皇帝后，真就在京師集聚高僧，大弘三寶。唐太宗即位后，也重興譯經。唐太宗征東時打到這里休整部隊，天空突然飄來五彩祥云，放射出萬道霞光，經久不散，把整個天空都映紅了，瑰麗無比。

    五彩祥云在佛教中素有觀世音菩薩靈駕之說。因此，謀士獻策：“祥云普照必有神仙庇護，這里乃是人杰地靈的祥瑞之地，應該建寺使祥瑞保佑一方百姓”。

    李世民便祈求上蒼保佑他征東勝利，發愿勝利后在此青龍山建祥云寺。果然，唐太宗征東勝利，他便踐行諾言，在此建祥云寺，并封為皇家寺院。寺院建成后，這朵云彩直撲寺中，就此消失。從此，每年的農歷四月初八，遠近百里的僧眾齊聚寺內，祥云寺這一天也是一年當中最熱鬧的。據說，人們到祥云寺所求，無不應驗。