灵宝地处黄河中游，属中华文明发祥地之一，位居豫秦晋三省交界的枢纽地带。境内的函谷关形成一道天然屏障，是古代通洛阳、达长安、连京都、接帝畿的要冲，为历代兵家必争之地。
早在约170万年前的旧石器时代，先民们就在灵宝点燃了人类文明的圣火，繁衍生息在这块古老的土地上。特别是近五六千年间，灵宝这一地域，已出现了灿烂的仰韶文化和龙山文化，留下了三皇五帝众多的历史传说。
灵宝虞夏时属豫州，商为桃林，周名桃林塞，置函谷关。春秋初属虢，关西属秦。晋灭虢，函谷关东属晋。
秦置桃林县，属三川郡。汉元鼎三年（前114年），函谷关迁新安县，同年在函谷关故关置弘农县（以弘农涧水得名）。
西汉元鼎四年置弘农郡，领弘农、陕、渑池、新安、宜阳、陆浑、卢氏、丹水、析、商、上洛等十一县。同年在湖关地置胡县。西汉建元元年（前140年）改名湖县，属京兆尹。新莽改弘农郡为右队，领弘农县。后汉复弘农郡。建武二年（26年）划丹水、析属南阳郡。建武十五年（39年）划商、上洛属京兆尹，增湖县、华阴两县。弘农郡领弘农、陕、渑池、新安、宜阳、陆浑、卢氏、湖县、华阴9县，后改为恒农郡、恒农县。
三国时属魏，仍名恒农郡、恒农县，领县仍旧。
晋复名弘农，属司州，领弘农、陕、渑池、宜阳、湖县、华阴6县。
南北朝时期灵宝地区辖四郡：西恒农郡、朱阳郡、石城郡、阌乡郡。
隋开皇三年（583年）废弘农郡及阌乡郡，置虢州（治所在卢氏）。开皇十六年（596年）改湖城县为阌乡县，同年复置桃林县，均属河南郡。大业三年（607年），复置弘农郡，移治所于鸿胪川（虢略镇）。领弘农、长泉、卢氏、朱阳四县。义宁元年（617年）复置湖城县，仍存阌乡县，属河南郡。同年弘农郡更名凤林郡，领弘农、阌乡、湖城3县，属豫州。此时灵宝地区有弘农、朱阳、邑阳、桃林、阌乡、湖城、玉城（义宁元年置）7县。
唐武德元年（618年），凤林郡更名鼎州（以阌乡之黄帝铸鼎原名之），移治阌乡。贞观八年（634年），虢州由卢氏移治弘农，更名虢郡，废鼎州。天宝元年（742年）更名虢州，领弘农、阌乡、湖城、朱阳、玉城、卢氏6县。同年因于函谷关尹喜故宅掘得“灵符”，改桃林县为灵宝县，属陕州。五代属后唐保义军，仍名虢州，领县仍旧。
宋、辽、金仍名虢州，领虢略、朱阳、卢氏、栾川4县，属陕西路。此时省玉城入虢略，灵宝、阌乡、湖城3县属陕州。
元代至元二年（1265年）省湖城入阌乡（县治在今阌底镇）。至元三年（1266年）省灵宝入陕县。至元八年（1271年）复置灵宝属陕州。至元十年（1273年）灵宝地域有灵、阌两县，属河南路陕州。
明，灵宝、阌乡属河南府，继改属陕州。阌乡县治移至唐湖城旧址。清，灵宝、阌乡属陕州。
中华民国初年属河南省豫西道。民国二十二年（1933年）属河南省第十一行政区。
中华人民共和国成立后，灵宝、阌乡初属陕州专区。
1952年4月，陕州专区撤销后属洛阳专区。
1954年6月，灵宝、阌乡合县，仍名灵宝县，治所在灵宝旧城。
1959年移治虢略镇。1986年2月撤销洛阳专区，三门峡市升格为地级市，灵宝县属三门峡管辖。
1993年5月，灵宝撤县设市。