牟山在鄭州市中牟縣縣城北面。東漢獻帝建安五年，即公元200年，曹操和袁紹在此處進行官渡之戰時，雙方修筑了龐大高聳的土山，也就是這些在戰爭中修筑的防御工事的遺存，被后人稱為“牟山”，這個名字被一直沿襲了下來。明朝正德十年（即公元1516年）的《中牟縣志·山川》中說：“牟山，在縣治北五里，高十余丈，延數十里，上建牟山廟，縣之得名于此。”這是史籍記載的對“牟山”的最早稱謂。不過，“縣之得名于此”卻是謬傳，事實上，不是縣之得名于牟山，而是牟山得名于縣。清朝的《中牟縣志》中還記載說：“牟山，……上建牟山廟。產麻黃草。”可見，當年的牟山是草木茂盛之地，上面還盛產中藥——麻黃。抗日戰爭以前，當地老百姓把牟山稱為“老冢”，大概是牟山上曾經有過古墓的緣故。

    昔日，在牟山尚未被黃河水沖毀的時候，每年的農歷正月十六，中牟縣城及其附近的人們，都習慣于在這一天上牟山尋春游玩。當時，在中牟民間還廣泛流傳著這樣的民謠：“正月十六上老冢（指牟山），上過老冢腰不痛。”所以，正月十六這天，附近的老百姓都放下手頭所有的活計，紛紛涌到牟山，盡興暢游，無比愉悅。據說，那時的牟山上面有幾條彎彎曲曲的小路，附近是凸凹不平的地形，路兩邊草木繁茂，茵陳、茅葉、野韭菜等長得郁郁蔥蔥，翠綠可愛，在山頂向下看，可以看到很遠的地方。牟山的面積約有40畝地那樣大。

    1938年，牟山的山頂上修建有碉堡和戰壕，碉堡是用附近百姓家的樹木和門板筑成的。當時，牟山已經被黃河水沖毀一半了。1938年的6月9日，國民黨軍隊奉蔣介石之命決開了鄭州花園口黃河大堤，試圖以黃河水阻擋日本侵略者。結果，黃河水沒有阻擋住日本侵略者的鐵蹄，僅僅兩天的時間，黃河水就吞沒了大半個中牟縣，大水所到之處，田園盡沒，人畜喪命。在巨大的洪水中，屹立了千年的牟山也無法幸免于難，面臨著滅頂之災。1940年夏天，洪水不僅沒有減退之勢，反而越來越大，將牟山又沖刷了一遍。1941年，洪水的主流轉移到了縣城北部，當年秋天，洪峰再次涌起，牟山山腳很快被洪水沖垮，轟然倒塌，成為了一堆黃土，在茫茫洪水的漲落之中蕩然無存了。

    牟山上曾經有過的牟山廟又被稱為“名山廟”，后來又演變為“明山廟”，如今，中牟縣城北面的明山廟村，就是因其而得名的。