鄭州清真寺因地處北大銜,故又名北大街清真寺、 北大清真寺或北大寺,是伊斯蘭教在鄭州建造最早、規模最大的清真寺。

    伊斯蘭教與其它宗教最不同的一點是民族與宗教合一，哪里有穆斯林哪里也就有清真寺。所以鄭州伊斯蘭教是隨著回族人口的出現而傳入的。唐代,公元7世紀初,管城已是兩京（長安、洛陽）通往沿海各地的水陸碼頭,一些過往的阿拉伯使節和商人,或寄寓或留居,成了當今鄭州回族最早的來源。唐代宗寶應元年(762年) ,兵馬副帥仆固懷恩極其所率軍隊在安史之亂平息后，留駐汴洛黃河兩岸。據史家考證，仆固懷恩是一位“勇敢善戰的穆斯林人”，他所率領的軍隊,主要是回紇、南蠻和大食人，也成為鄭州回族的來源之一。唐中和四年(884年)，李克用奉命率兵五萬進剿黃巢起義軍,其大本營就設在鄭州。后來又有一些回族因經商或從軍等原因逐漸在鄭州城鄉定居下來,明代鄭州城內的“回回巷”（今管城回族區清真寺街一帶），已是回族群處的地方。同時清真寺作為伊斯蘭教傳教和活動的場所也陸續興建起來。

鄭州清真寺始于元末明初，位于北大街128號，為鄭州伊斯蘭教傳播發源地。寺內乾隆二十六年（1761年）碑文記載：“由明以迄大清數百年，掌教者有三師。”清乾隆十九年和四十七年兩次重修。雍正三年（1725年）重修寺門照壁，嘉慶七年（1802年）重修大殿滾白，光緒三十三年（1907年）重修望月樓。1953年、1982年鄭州市政府兩次撥款共40萬元進行了翻修。寺院現占地近17畝，為兩進院對稱，中國傳統宮殿式建筑,主要由大門、望月樓、大殿、南北講堂 浴室、殯儀館組成。