邵雍的先祖是范陽（今河北涿州）人。后來為躲避戰亂流落他鄉。

    父親名叫邵古，從小就喜歡讀書，長大后更加刻苦，終于學有所成，對問文字，音韻卓有建樹。雖讀書為儒，但崇尚隱逸之風，始終沒有做官。邵雍十二歲那年，跟隨父親來到共城（今河南輝縣）蘇門山。蘇門山在那時已經成為一座名山，山上花紅草綠，林深葉茂，環境幽美。山下是衛水之源百泉湖，湖中泉中噴涌，碧波蕩漾。遠遠望去，湖光山色，相映成趣，美極了。正由于這個原因，許多文人學士都來這里游覽，吟詩作賦，大為嘆賞。有的甚至迷戀這里的山青水秀，便隱居下來。父親邵古領著邵雍登上蘇門山，站在山頂上俯視清澈的百泉湖水，過了好久，忽然回過頭來，對邵雍說：“你聽說過孫登的為人嗎？”邵雍輕輕地搖了搖頭。于是父親便給他講起了孫登的故事。孫登是西晉時一位隱士，為躲避戰亂來到蘇門山隱居。沒有妻室兒女，整日與白云為伴。他住在山洞里，夏天穿自己編制的草衣，冬天披散著長長的頭發來遮體御寒。他很少與外界來往，獨自一人研讀《易經》，困倦時就彈一弦琴音解乏自娛；閑來無事，便練習口技，摹仿各種鳥叫，每到這時百鳥都匯集到他的身邊。

    有一次，阮籍來訪孫登，與他交談，他卻一字不應。阮籍只好告辭出來。等來到半山腰時，上面傳來鸞鳳之音，抬頭一看，原來是孫登在練習口技。孫登就是這樣一位嘯遨山林的隱士。講完孫登的故事，父親有些向往地對邵雍說：“我所追慕的就是孫登的遺風啊！”就這樣，邵雍和父親便在蘇門定居下來。他們在西側的山坳里搭起一座小小的茅屋，又在山前開出一片荒地，過起了耕讀生活。這時，邵雍的生母剛剛亡故，家境十分困窘，穿粗布衣服，吃稀粥菜湯。邵雍每天在山中拾柴，回來后生火煮飯，奉養父親。閑下來，邵雍便閉門讀書。他雖然年幼，很有志向，又很有才氣。讀書十分刻苦，常常是拿起書本就忘記了一切。寒冬臘月，手腳凍得生疼也不知道生爐取暖，三伏天熱得大汗淋漓也不知搖扇納涼，他夜晚從不鋪床放枕，讀書實在困倦了，就席地而眠，這樣苦學數年，學問大長。后來，有一天邵雍忽然嘆息地說：“古人讀書尚且廣交朋友，而我卻不問四方之事，這怎么能行啊！”他感到閉門讀書，耳目閉塞，見識不廣，所以幾年之內，他渡過黃河、汾河，跨過淮水、漢水、到齊、魯、宋、鄭等地游覽山川名勝，了解風土人情，探求歷史掌故。然后重返蘇門山，潛心讀書，漸漸地，以才學而名聞鄉里。