平顶山市的历史可追溯到五、六千年以前。商周时代，这里属应国。
北魏孝文帝太和元年（477年）置高阳县。
隋朝时，分属襄城郡和颍川郡。
唐代先后分属汝州、许州、襄城郡。宋元起至明清，平顶山境域分属汝州、许州和裕州。
民国初年属河洛道、汝阳道，后分属豫南道、豫东道、豫西道。
新中国成立后，平顶山分属洛阳专区、许昌专区。1954年成立平顶山煤矿筹备处，1956年1月，成立中共平顶山矿区委员会，1956年3月，成立许昌专员公署平顶山办事处，下辖东高皇、大营、西高皇、井营四个乡。1957年3月，经国务院批准，设立平顶山市，属省直辖市，下辖二镇四乡，即诸葛庙镇、西高皇镇和大营乡、东高皇乡、井营乡、姚孟乡。
1958年，市区设立了五个街道办事处，城市建设开始起步。1960年撤销宝丰县，将原县属行政区域划归平顶山市，次年又恢复宝丰县制，仍归许昌专署领导。
1964年3月，平顶山市改为平顶山特区，实行双重领导，以煤炭部领导为主，河南省领导为辅。1968年3月，恢复平顶山市，仍为省辖市。1969年设置新华区和卫东区。1971年建立西区。1977年舞钢区划归平顶山市，1979年舞钢区又划归许昌地区管辖。1982年，舞钢区重新划入平顶山市。
1983年9月，分属许昌地区的鲁山、宝丰、叶县三县划归平顶山市管辖，1986年2月又将许昌地区的襄城县和郏县、洛阳地区的临汝县划归平顶山市。 　1988年6月，撤销临汝县，设立汝州市。1990年9月，撤销舞钢区，设立舞钢市。二市均为河南省计划单列市，由平顶山市代管。汝州市于2011年6月1日正式施行省直管体制。
1994年8月10日，平顶山市郊区更名为湛河区。1996年12月，襄城县又划归许昌地区。1997年12月18日，设立平顶山市石龙区。至此，全市辖四县（鲁山县、宝丰县、叶县、郏县）、四区(新华区、卫东区、湛河区、石龙区)，代管汝州市、舞钢市，全市共有99个乡（镇）、25个街道办事处，299个居民委员会、2584个村民委员会。
汝州市2011年被省政府省发改委确立为河南10个省直管试点扩权县市之一。2014年1月1日全面实行省直管体制。
2005年，平顶山市乡镇区划调整，撤并5个（原出处为9个）乡镇。舞钢市撤销王店乡，并入尚店镇管辖，尚店镇人民政府驻地不变；撤销安寨乡，并入枣林乡管辖，枣林乡人民政府驻地不变。鲁山县撤销土门乡，并入背孜乡管辖，背孜乡人民政府驻地不变。宝丰县撤销观音堂乡，并入大营镇管辖，大营镇人民政府驻地不变。石龙区撤销南顾庄乡，设立相应街道。撤并后，平顶山市全市有93个乡镇、39个街道；平均每个乡镇人口为5.19万人，平均面积为84.75平方千米。