據說在很久以前，這里一馬平川，唯有一座大山，高100多米，每當夜幕來臨時，山頂峰總會發出耀眼的金光。王母娘娘得知后，特派山神來此看守。山神在此守了十幾年都平安無事，然而，就在一天晚上，山神老朋友太白金星路過此地來看望山神。兩神十幾年未見，自然喜不自禁，遂拿出好酒喝將起來，不知不覺兩個時辰過去了，山神不勝酒力，醉臥桌旁。而太白金星也感覺不支，于是稍稍歇息之后起身告辭。時辰不大，金塔山山頂上傳來山崩地裂之聲，頓時大塊石土向四面八方散去，落在哪兒，哪兒就變成了小山丘。巨響驚醒了睡夢中的山神，他站了起來，端著酒壺向外走去。他來到洞口，發現外面的金光消失了，又掐指一算，得知寶物被盜，他知道天庭饒不了他，便準備逃跑。

    王母娘娘在天宮得知鎮山之寶被盜，大發雷霆，親自下凡追捕山神。剛逃出不遠的山神，很快就被王母追上。王母二話不說用神杖一指，就把山神變成石人，讓他永無出頭之日。

    山上的金光消失了，但多了一個石人，山不再是從前的百米高山了，而變成了一座座山丘，加上石人坐落在兩坡之間的溝中，因此那座山改名叫做“石人溝”。