焦作歷史悠久，早在8000年前的氏族公社時期就有人類居住。夏朝屬冀州，稱覃懷地。商及西周屬畿內地，分屬雍、邗、溫三國。東周為晉南陽地，戰國時屬魏、衛二國地。秦屬三川郡，西漢屬冀州河內郡。東漢屬司隸部河內郡。三國屬魏國冀州河內郡。晉分屬司州河內郡、汲郡、滎陽郡。南北朝分屬司州河內郡、滎陽郡。后魏分屬懷州河內郡、武德郡、司州汲郡、東恒農郡。隋分屬河內郡、汲郡、滎陽郡。唐分屬河北道懷州河內郡、河陽三城使孟州、河南道河南府河南郡、鄭州滎陽郡。五代分屬懷州、孟州、鄭州、開封府。北宋分屬河北西路懷州河內郡、京西北路濟源郡、京西路鄭州奉寧軍制、京畿開封府。元分屬燕南河北道懷慶路、孟州、河南江北行省卞梁路。明分屬河內布政使司懷慶路及開封府。清屬河南省懷慶府。

    1913年，河內縣改為沁陽縣。1927年沁陽縣東部劃出，成立博愛縣。1945年9月8日建立焦作市。1948年3月改為焦作縣。1949年10月15日，改為焦作礦區，劃歸平原省新鄉行政專員公署領導。1952年11月15日，平原省撤銷，焦作礦區劃歸河南省新鄉行政專員公署領導。1956年7月9日，改為焦作市，由河南省直接領導。1959年12月1日，修武、博愛兩縣劃歸焦作市領導。1960年8月15日，撤銷修武、博愛兩縣建置，并入焦作市；撤銷溫縣建置并入沁陽縣。1961年10月5日，恢復修武、博愛、溫縣建置，歸新鄉行政專員公署領導。1974年1月19日，焦作市屬河南省和新鄉地區雙重領導。1982年3月，焦作市劃為省轄市。1983年9月1日，修武、博愛兩縣劃歸焦作市領導。1986年1月，溫縣、武陟、孟縣、濟源、沁陽五縣劃歸焦作市領導。1988年，濟源縣改為濟源市。1989年，沁陽縣改為沁陽市。1997年，孟縣改為孟州市，濟源市歸河南省直接領導。2002，焦作市轄沁陽市、孟州市兩市，修武縣、武陟縣、溫縣、博愛縣四縣和解放區、山陽區、中站區、馬村區四個城區，計116個鄉（鎮）辦事處。2006，焦作市轄沁陽市、孟州市兩市，修武縣、武陟縣、溫縣、博愛縣四縣和解放區、山陽區、中站區、馬村區四個城區，轄103個鄉（鎮）辦事處，計1826個村民委員會。