據說事情發生在明朝萬歷年間，南樂城內東大街霍家，官居戶部尚書，為光宗耀祖，決定建牌坊光耀門庭。當時霍家的莊基是望北向南，門前對面是梁家的莊基，霍家想建過路牌坊要占梁家的地皮，梁家雖貧但就是不同意，兩家就發生了爭執。霍家無奈，情愿出錢買下。但是梁家貴賤不賣。正在相持不下，梁家出來一個穿開襠褲的黃毛小兒，叫梁天奇，上前插嘴道：“您占了俺的地方，今后俺建牌坊咋辦？”霍家人想，一個衣食不保的小兒口出如此荒唐之言，不禁令人笑掉大牙。于是霍家人信口答道：“到你建牌坊時，建在我的牌坊頂上。”雙方主事人當即擊掌立約。

    光陰荏苒，轉眼幾十年過去，梁天奇官至御史大夫，也要立坊耀祖，因霍梁兩家有約在先，于是梁御史的牌坊就建在了霍尚書的牌坊之上了。