關于香林寺寺名的由來，在民間有多個說法，其中一說與桃林有關。

　　很早以前，這里是一處光禿禿的崗丘地帶，崗下住著一個年輕的樵夫。一天，樵夫在崗坡上打柴，沒留神腳下一滑，從崗上滾了下來。這時正巧有一位化緣的老和尚經過，伸手把樵夫攙住，使他有驚無險。樵夫對和尚非常感激，不住地一直連聲道謝。和尚見這是一個忠實善良的后生，便從隨身所帶的布袋中摸出兩大把山桃說：“我是個尋仙訪勝的窮和尚，也沒帶啥好吃的，這兩把山桃干果留給你，興許有個用場。”樵夫推辭再三，和尚還是放下說了聲“后會有期”就走了。望著老人遠去的背影，樵夫雙手合十默默地對和尚祈禱。

　　沒幾天，樵夫把桃果吃完，只剩下兩把桃核。他想，如果把這些桃核種在崗上，用不了幾年，準會結出山桃來。于是，他便把這些桃核都種在了崗上。俗話說：“杏四桃三，結果見錢。”三年頭上，小桃樹都開了花，整個崗上一片芳香。果子熟了，擔到城里去賣錢。只兩年工夫，樵夫有了積蓄，蓋了新房，娶了媳婦，又添了個閨女，取名叫香妮兒。

　　一晃五年過去。一天，樵夫帶女兒在崗上干活，看見一個老者從遠處過來，馬上認出這就是幾年前送自己山桃的那個和尚。樵夫拉住老人，指指滿崗開花的桃林，笑著說：“多虧您留下那么多山桃，我才有了今天。”又對老人說：“這是我的女兒名叫香妮兒。”香妮兒也開口忙叫爺爺，又折了一枝桃花舉到老人的面前，天真地說：“真香，真香呀！”老人點點頭，問這個崗叫什么名字，答：“叫禿崗。”老人說：“不好聽，我看就叫香林崗吧。”樵夫聽了，連連稱好。

　　幾年來，老和尚尋訪過不少名山大川，唯獨看出這里的地形與景色最好。經多年的化緣，也有了點積存，于是決定在此崗的向陽處建了一座廟宇，自賜名字“香林寺”。以后逐漸擴大，并形成了規模。

　　一年一年過去了，香林崗的美名傳開了，香林寺的香火也大了。樵夫一家祖祖輩輩在這里辛勤勞作。后來，香林寺作為村名，也一直叫到如今。