晉武帝司馬炎太康十年(289年),祖逖24歲的時候,他與劉琨一起擔任司州主簿,即司州主管文書簿籍的官吏。在司州任職期間,祖逖與劉琨關系十分融洽,感情深厚。他們都有建功立業、中興晉朝的遠大志向。兩人同住一個房間,又同睡一床,有時晚上談論日益頹廢的國家大勢,不免憂心忡忡,感慨時世艱難,夜不能寐。“聞雞起舞”的故事就發生在祖逖和劉琨擔任司州主簿期間。
那是一個凄冷的夜晚,萬籟俱寂。面對內憂外患、江河日下的西晉王朝,祖逖十分憂慮時局的危難和人民的疾苦,輾轉反側,難以入睡。窗外,一輪皓月當空。不知不覺間,祖逖進入了夢鄉。凌晨時分,祖逖在被窩里睡得正香。突然,一陣清脆的雞鳴聲從遠處傳來,吵醒了祖逖。他躺在床上想:“我要干一番大事業,就從現在做起。這雞鳴聲不正是催我奮發上進嗎?時間多么寶貴啊!我不能再睡懶覺了!”于是,祖逖猛地披衣起身,推推身邊的好友劉琨喊道:“越石(劉琨的字),越石,快起床。你聽聽,這喔喔的雞鳴聲,不是什么不吉利的壞聲音,這正是在催促我們起來啊!”兩個年輕人起了床,穿好衣服,拿下掛在墻壁上的寶劍,走出屋子,來到了院子里。
此時,四周還是一片黑暗,一陣陣冷風涼氣直撲祖逖和劉琨身上。二人沒有退縮,拿著劍在院子里飛舞起來。他們越舞越有力氣,越舞越有精神,頭發和衣服都被汗水浸濕了。不知練了多長時間,天色才逐漸放亮。從此,無論是朔風凜冽的寒冬,還是赤日炎炎的盛夏,冬去春來,寒來暑往,只要一聽到雞叫,祖逖和劉琨就起床練武,從來沒有間斷過。蒼天不負有心人,經過刻苦訓練,他們不僅鍛煉了自己的身體,功夫也越來越好。祖逖和劉琨期待著將來能馳騁疆場,為國效力,干出一番驚天動地的大事業來。
后來,祖逖和劉琨都成為國家的棟梁之才,在平定內亂和抗擊少數民族貴族南侵的戰爭中為國家建立了不朽的功勛,實現了他們少年時候立下的報效國家的夙愿。