相傳很久很久以前，祖師廟還是個無名的小鎮子，鎮子上也就住了二十來戶人家。在離鎮子約模3里路的地方，有一座小山，山上有一塊巨石，巨石狀如水牛，因此人們便把這座小山叫做金牛山。更奇怪的是，每到夜晚，附近的人們總能聽到山上時不時傳來水牛 “口牛口牛”的叫聲。這一年，小鎮上來了一位打鐵的老人。老人從哪里來，又到哪里去？大家都不知道。大家只見老人住下了，打鐵的手藝很好，鍬、鋤、犁、耙，經他打出來的農具，用起來樣樣順手。打鐵的老人為人和氣，對人慈善，鄰里間有求他幫忙的，他絕不推辭，因此大家和他的關系極好，也都很尊重他。

　　老人在鎮上打鐵打了許多年，原先還在地下跑著玩的小孩子長大了，一些人也慢慢老了，但是卻看不到打鐵老人有衰老的樣子，大家依然叫他老爺爺。這一年，老人收了一個徒弟，徒弟很年青，也就剛剛二十歲。有一天，打鐵老人把徒弟叫到面前，說：“我很快就要走了，打鐵是門為大家出力的手藝，你一定要好好學，不要把手藝丟了。”老人還說，這個鎮子也是個好地方，你也不要走了，就在這個地方住下去，靠兩只手勞動，也就不愁吃穿。

　　過了一陣子，鎮上的人覺得有幾天沒有見到打鐵的老人了，就問他的徒弟說：你師父呢，怎么這幾天沒見到他了？老人的徒弟說，師父走了，還把臨走前對他說的話給大家學了一遍。大家覺得很奇怪，老人怎么會突然走了呢？再問小徒弟，小徒弟也說不清，只是說聽師父講過他姓李，是到這個山里來找牛的。

　　打鐵老人走了之后，附近的鄉民們每晚再也聽不到山上有牛“口牛口牛”的叫聲了，人們都說，這是打鐵老人把他的牛帶走了。再后來，又有人傳說，打鐵老人就是鐵匠祖師李老君，李老君找到了他的牛，自然也就走了。為了證實這個傳說，鄉民們便到山上看，找痕跡，果真還在山石上找到了一趟牛蹄印。

　　后來，人們為了紀念李老君，就在小鎮邊建了一座廟堂，小鎮也便起名叫祖師廟。而且在此以后，祖師廟附近的山地，果然應驗了李老君的話，天再旱，這里不缺水，總有山水灌田，下再大的雨，這里也不會淹，洪水總能順著小溪排出，這里是一片水旱不受災，保豐收的風水寶地。