北魏孝文帝太和元年（477年）置高陽縣，縣境有高陽山，縣治在今高陽里。1957年由葉縣、寶豐二縣析置平頂山市。平頂山以山峰平頂為名。

    平頂山境域古為豫州地，殷商時期，居住著應、桀部落。西周為武王宗室應侯封地，春秋戰國時期，分屬韓、魏、晉、鄭、楚。秦統一后，分屬潁川郡、三川郡和南陽郡；漢改三川郡為河南郡，北部仍屬潁川郡。晉析潁川置襄城郡，平頂山屬河南郡、襄城郡、南陽郡。南北朝時，先后分屬魯陽郡、襄城郡、南安郡、汝北郡、汝南郡、順陽郡、漢廣郡。

    隋朝時，分屬襄城郡和潁川郡。唐代先后分屬汝州、許州、襄城郡。宋元起至明清，平頂山境域分屬汝州、許州和裕州。民國初年屬河洛道、汝陽道，后分屬豫南道、豫東道、豫西道。

    新中國成立后，平頂山地區分屬洛陽專區、許昌專區。1953年國家大規模開發平頂山煤田，1954年成立平頂山煤礦籌備處，1956年1月，成立中共平頂山礦區委員會，同年3月，成立許昌專員公署平頂山辦事處，下轄東高皇、大營、西高皇、井營四個鄉。1957年3月26日，經國務院批準，設立平頂山市，屬省直轄市，下轄二鎮四鄉，即諸葛廟鎮、西高皇鎮和大營鄉、東高皇鄉、井營鄉、姚孟鄉。1958年，市區設立五個街道辦事處，城市建設開始起步。1960年撤銷寶豐縣，將原縣屬行政區域劃歸平頂山市，次年又恢復寶豐縣制，仍歸許昌專署領導。

    1964年3月，平頂山市改為平頂山特區，實行雙重領導，以煤炭部領導為主，河南省領導為輔。1968年3月，恢復平頂山市，仍為省轄市。1969年設置新華區和衛東區。1971年建立西區。1977年舞鋼區劃歸平頂山市，1979年舞鋼區又劃歸許昌地區管轄。1982年，舞鋼區重新劃入平頂山市。

    1983年9月，分屬許昌地區的魯山、寶豐、葉縣三縣劃歸平頂山市管轄，1986年2月又將許昌地區的襄城縣和郟縣、洛陽地區的臨汝縣劃歸平頂山市。

    1988年6月，撤銷臨汝縣，設立汝州市。1990年9月，撤銷舞鋼區，設立舞鋼市。二市均為河南省計劃單列市，由平頂山市代管。汝州市2010年被省政府省發改委確立為河南10個省直管試點縣市之一。 并于
2011年6月1日正式施行省直管體制。

    1994年8月10日，民政部批復（民行批[1994]118號）同意將平頂山市郊區更名為湛河區。1996年12月，襄城縣又劃歸許昌地區。1997年12月18日，國務院批準（國函[1997]111號）設立平頂山市石龍區。至此，全市轄四縣（魯山縣、寶豐縣、葉縣、郟縣）、四區（新華區、衛東區、湛河區、石龍區），代管汝州市、舞鋼市，全市共有99個鄉（鎮）、25個街道辦事處，299個居民委員會、2584個村民委員會。

    2005年，平頂山市鄉鎮區劃調整，撤并5個（原出處為9個）鄉鎮。舞鋼市撤銷王店鄉，并入尚店鎮管轄，尚店鎮人民政府駐地不變；撤銷安寨鄉，并入棗林鄉管轄，棗林鄉人民政府駐地不變。魯山縣撤銷土門鄉，并入背孜鄉管轄，背孜鄉人民政府駐地不變。寶豐縣撤銷觀音堂鄉，并入大營鎮管轄，大營鎮人民政府駐地不變。石龍區撤銷南顧莊鄉，設立相應街道。撤并后，平頂山市全市有93個鄉鎮、39個街道；平均每個鄉鎮人口為5.19萬人，平均面積為84.75平方千米。

    2011年，汝州市由省直管。