傳說，三皇姑和祖師爺一心修煉，后來皇上旨準給他倆蓋廟。
 

    兩人各自選擇風水寶地建立廟堂，祖師爺過寶豐，看中了今天的香山寺這座山，非常喜歡就把隨身帶的一把寶劍插到山上作為記號。
 

    這時三皇姑還沒有找到地方。她聽別人說祖師爺選的香山寺地方很好，她想找祖師爺，叫他讓給她，可又怕人家不肯，就生一計。偷偷去到香山寺，找到祖師爺的寶劍，拔出，然后挖了個坑，把自己的一只繡鞋擱里頭，再拿劍插穿繡鞋，用土封固，看看沒痕跡才走了。
 

    三皇姑找到祖師爺說：“姐夫，你找到好地方了沒有”？祖師爺說：“找到了，在寶豐東南一座四周低中間高的山上，我仔細看了，那地方是中州最好的地方”。三皇姑故作驚訝道：“那是我看中的地方呀，怎么你也看中了？”祖師爺說：“好地方咱倆都能看到，不過咱們口說無憑，我可有記號在山上。”三皇姑說：“你有啥記號？”祖師爺說：“我在山頂正中心插了一把寶劍為證。”三皇姑說：“我有一只繡鞋也在山頂正中心埋著為證”。祖師爺不信，便和三皇姑一同去到山上，祖師爺抽出了寶劍，三皇姑往下一扒拿出了那只繡鞋。三皇姑說：“姐夫，咱倆的記號雖在一個地方，可我的鞋在下邊，這證明我比你來的早吧？這地方按先來后到該歸我吧？”祖師爺一見三皇姑扒土時地虛，就知道三皇姑搗了鬼，又不好意思和她爭，只好說：“算你到的早，我再找地方去。”祖師爺一氣之下遠離三皇姑，跑到江西，找個地方建了廟堂，就是現在南大廳。三皇姑在這里建了廟院，就是現在的香山寺。