抗日戰爭爆發后,以朱理治為書記的中共河南省委在開封北道門59號成立。在黨的領導和抗日民族統一戰線的旗幟下,成千上萬的文藝工作者和一大批充滿抗戰激情、英勇獻身精神的愛國青年從祖國的四面八方匯聚開封,抗日救亡運動轟轟烈烈、如火如荼,備受全國矚目,其中尤以抗日文化宣傳活動最具影響與特色。中共河南省委秘書長危拱之領導的孩子劇團,以河南大學學生馬可為骨干的“怒吼歌詠隊”,光明話劇團,來開封的著名文藝工作者賀綠汀、崔嵬、冼星海、張瑞芳等,都先后在古城開封演出宣傳抗日。為了培養游擊戰爭干部,杞縣、考城、洧川等縣分別建立青年農民救國會、抗日救國服務團、抗敵聯合工作團等眾多的救亡團體,推動了各縣抗日救亡運動的深入開展。直至1938年6月,開封一直是中原地區抗日救亡運動的中心。中國共產黨在開封的工作不僅掀起了抗戰高潮,還為以后黨在國統區的工作奠定了思想、組織和群眾基礎,對抗日戰爭乃至解放戰爭的勝利具有深遠的影響。
1938年6月,繼日軍侵占蘭封、杞縣、通許、尉氏之后,開封淪陷。由于開封重要的戰略地位,1939年春,日偽河南省機關由安陽遷至開封,在此設立軍、警、特組織,建立各級偽政權機關,極力推行殖民地政策,開封遂成為日偽統治河南淪陷區的中心。為了組織和領導人民抗日斗爭,從1942年起,十八集團軍前方總部情報處開封情報站、冀魯豫開封工委、八路軍鋤奸部開封工作站和水東地委開封城工小組相繼組建。他們搜集日偽大量重要情報,開展統戰敵偽工作,配合根據地軍民的抗日斗爭。日軍侵占蘭封、杞縣、通許、尉氏之后,開封人民積極響應中共河南省委向全省發出的組織10萬武裝、開展游擊戰爭的號召,各縣相繼組織抗日武裝并不斷發展壯大,先后創建了兩塊抗日根據地。一塊是冀魯豫抗日根據地的考城、蘭封(隴海鐵路以北)部分,1938年10月建立了冀魯豫邊區第一個抗日縣政府——考城縣抗日民主政府,領導著魯西南邊陲的抗日斗爭,一直堅持到抗戰勝利。另一塊是睢杞太抗日根據地的杞縣、通許、陳留、尉氏、洧川、蘭封(隴海鐵路以南)部分。1938年7月,以吳芝圃為司令的豫東抗日游擊三支隊在杞縣傅集伊花園成立,不久與新四軍先遣大隊會師,睢(縣)杞(縣)太(康)地區初建抗日游擊區。10月,又與彭雪楓為司令員的新四軍游擊支隊會師于西華,并東進豫皖蘇,兩次會師于睢杞太地區。睢杞太地區,在隴海、平漢、津浦三大鐵路線之間,位于開封、商丘、淮陽等戰略要地的三角區域,是豫東平原的心腹地帶。這塊游擊區的開辟,猶如一條紐帶,把華北、華中兩大抗日根據地聯結起來,直接威脅著敵人在中原的軍事重鎮開封和交通干線隴海鐵路。根據地軍民以杞縣為中心,在遠離大塊根據地依托的困難環境下堅持斗爭,發展成為孤懸于敵后的抗日根據地,成為抗日根據地武裝斗爭的一面旗幟。1945年夏,以睢杞太抗日根據地為依托向西發展,還建立了水西抗日根據地,使抗日根據地發展成為以睢縣、杞縣、太康為中心,包括蘭封、陳留、通許、民權等14個縣地域、300多萬人口鞏固的根據地。
抗日根據地軍民在極其嚴峻艱苦條件下,不屈不撓、堅持斗爭,有5260余名中華兒女血灑水東,沈東平、馬慶華、韓達生、唐克威4位特(地)委書記英勇犧牲,位于杞縣的水東烈士陵園,真實記載了英勇悲壯的抗日烽火歲月。在根據地和淪陷區兩個不同的戰場上,英雄的開封人民同仇敵愾、英勇奮戰、舍生忘死,進行了長期艱苦卓絕的斗爭,使抗日民主根據地不斷鞏固和發展,使開封黨和人民革命力量得到空前大發展,為中華民族的解放作出了不可磨滅的貢獻。