漢初始元年(公元8年)底,王莽篡權(quán)稱帝,不久,建立“新”朝。因“新”朝統(tǒng)治腐敗,各地紛紛爆發(fā)農(nóng)民起義。起義軍將領(lǐng)劉秀路過(guò)潁陽(yáng)時(shí),王霸聞?dòng)嵡叭グ葜],因談得投機(jī),王霸就隨劉秀從軍。“新”朝地皇四年(公元23年),王莽派大軍圍困起義軍所在的昆陽(yáng)城。為了解圍,王霸等十三騎勇闖敵營(yíng),最終突破重圍并搬來(lái)救兵,為昆陽(yáng)之戰(zhàn)的勝利立下大功,在昆陽(yáng)之戰(zhàn)中大傷元?dú)獾男鲁芸旒幢煌品。不久,起義軍內(nèi)部斗爭(zhēng)激烈,勞苦功高的劉秀、王霸等將領(lǐng)被解除兵權(quán),王霸一氣之下解甲歸故里。
后來(lái),劉秀遇重用,被任命為司隸校尉。再次路過(guò)潁陽(yáng)時(shí),劉秀力邀王霸從軍,王霸就帶領(lǐng)幾十個(gè)同鄉(xiāng)隨劉秀前行。不久,劉秀被任命為大司馬,前往河北征戰(zhàn)。因前景兇多吉少,當(dāng)初和王霸一起從軍的同鄉(xiāng)紛紛離去,唯有王霸始終跟隨劉秀。劉秀不禁感慨道:“潁川從我者皆逝,而子獨(dú)留。努力!疾風(fēng)知?jiǎng)挪荩ǔ烧Z(yǔ)“疾風(fēng)知?jiǎng)挪?rdquo;即源于此)。”后來(lái),劉秀率大軍攻破邯鄲,王霸?shī)^勇作戰(zhàn),親手?jǐn)貧⒃欢确Q帝的王郎,獲得其印綬。因立下首功,王霸被封為王鄉(xiāng)侯。
建武元年(公元25年),劉秀稱帝建立漢朝(史稱東漢),年號(hào)建武。在大封功臣時(shí),劉秀任命王霸為偏將軍,第二年,又改封為富波侯。建武五年春,王霸被任命為討虜將軍,先后在新安、函谷關(guān)等地屯田。曾率軍攻打滎陽(yáng)、中牟等地的賊寇,并一舉蕩平。從而徹底消除了困擾當(dāng)?shù)囟嗄甑姆嘶,還百姓以安寧。
建武九年,王霸任上谷(今河北懷來(lái)縣東南)太守。因匈奴屢犯北部邊境,王霸率軍多次與敵作戰(zhàn),使匈奴難以進(jìn)入漢境。第二年,王霸在平城(今山西大同市)大敗盧芳的軍隊(duì),威震匈奴。后來(lái),匈奴和烏桓聯(lián)手在邊境襲擾。王霸率軍歷大小戰(zhàn)近百次,屢敗胡虜。
王霸在與匈奴、烏桓的長(zhǎng)期作戰(zhàn)中,感受到了戰(zhàn)爭(zhēng)對(duì)雙方百姓造成的痛苦。于是,他數(shù)次向劉秀上書,大膽提出應(yīng)與匈奴交好,和則兩利的主張。后來(lái),其主張被采納。于是匈奴、烏桓與漢修好。從此,北疆多年無(wú)戰(zhàn)事。
漢明帝永平二年(公元59年),王霸因病去世。為表彰其功績(jī),漢明帝劉莊令人圖畫為漢立下不朽功勛的名將時(shí),把王霸列為“云臺(tái)二十八將”之一。作為一代名將,王霸之事在《后漢書·銚期王霸祭遵列傳》中有記載。