傳說，元末明初年間群雄并起，天下戰亂，荒尸遍野，民不聊生，再加上黃水泛濫成災，中原大地，土地荒蕪，人煙稀少。后來戰亂平息，洪武帝頒一道圣旨，令人煙稠密的山西洪洞縣移民中原。洪武三年，南樂一帶地方連年風調雨順，百業興旺。百姓們把安居樂業的功績歸功于神靈－－西天佛祖的保佑，就在黃河堤上修了一座“靈佛寺”，每逢初一、十五，四方百姓都來朝謁，常年香火不斷。有一天，驃騎將軍霍貫道同嘉靖皇帝討伐判軍失利，騎兩頭驢子路過寺下。由于驢子一天沒吃到草料，望見寺院以為是村落就“灰灰”叫喚，驚得驃騎將軍捏住驢的鼻子，望寺院禱告：“請佛祖保佑我主平安通過，不要讓驢子叫喚，以免驚動寺東張果屯村駐扎的叛軍。”說罷朝寺的方向拜了一拜，果然驢子止住了叫喚，默然邁開大步，悄悄過寺而去。
  

    后來，百姓們聽說了，就趕著或騎著驢子到寺內朝謁。將驢子拴在山門外的古松下，驢子們都如同啞了一般，默默地打瞌睡，就是再調皮的叫驢駒子，只要從寺下經過，它們都老老實實悄然而去。