據《史記·高祖本紀》記載,劉邦發跡前,在家鄉江蘇沛縣任泗水亭亭長。一次,他帶一班勞役為秦始皇修皇陵,行至芒碭山時,他喝得酩酊大醉,在山澤之間趕路。忽有人報:“前有大蛇擋道,請回!”劉邦道:“壯士行,何畏!”于是拔劍將大蛇斬為兩段。秦始皇常說:“東南有天子氣”,劉邦自疑,于是隱藏在芒碭山澤巖石之間。劉邦之妻常常抱著孩子去找他,一找便能找到,劉邦感到很奇怪。
芒碭山周圍群眾根據歷史記載和民間傳說,摻雜一些迷信因素,硬說碑面上的人像是漢高祖和呂后顯靈。而信息殘留說,是氣功師的看法。他們說,世上有顯形物質和隱形物質,隱形物質是一種高境界、高力度的物質,它可以超越時空,既可以穿透歷史,又可以穿透物理空間而存在。