北宋熙宁九年（公元０７６年），改革家王安石最后一次罢相之后，皇帝给了他一个判江宁府的闲职，不过，此时的王安石早已经没有了当初改革之时的那一腔热情，对于官场的险恶与争斗也早已经厌倦，因此，王安石决意告别政坛，携儿子的灵柩与妻子回到江宁府，时年王安石５５岁。

在第二次罢相之前，王安石曾经委托朋友在江宁购买了一块地，　这块地在江宁和钟山之间，这次罢相之后王安石就在此修建了一所院落，由于这所院落距离钟山主峰大约七里，正是半山途中，因此，王安石起名曰：半山园，王安石的号即由此而来。

半山园其实很寒酸，不过是林间几间小屋而已，连围墙也没有修，不知情者绝对想象不到这是一个退休的宰相的府第，不过，王安石对此非常满意，曾经为半山园写过很多诗词。其中有一首曰：“数间茅屋闲临水，窄衫短帽垂杨里。花是去年红，吹开一夜风。梢梢新月偃，午醉醒来晚。何物最关情，黄鹂三两声。”

从此王安石在半山园过着悠闲的隐居生活，每日里游山玩水，读书交友谈禅论道。

尽管与司马光、苏轼等政见不同，但是，私交却一直很好。在王安石隐居半山园之后，有一年苏轼从黄州徙汝州乘船经过金陵，王安石布衣野服骑着毛驴到江边迎候。苏轼本来是打算经过金陵去拜访王安石的，没有想到王安石竟然亲自到江边来迎接自己，匆忙之中竟然连衣服都没有来得及穿好就出来相见，苏东坡歉意地对王安石说：“轼今日敢以野服见大丞相。”（我今天冒昧了，以便服就出来见大丞相你了）。

王安石笑着说：“礼岂为我辈设哉？”

两人会心的一笑，一切心关不言中了。

王安石罢相之后，神宗皇帝亲自主持新法，而苏东坡反对新法，诗文当中多有对新法不满之意，结果被政敌构陷，这就是宋朝著名的“乌台诗案”，苏东坡锒铛入狱，变法派欲置苏轼于死地。王安石听到这一消息，在江宁上书给神宗皇帝，为苏东坡求情，并言：“安有圣世而杀才士乎？”

１０８６年与世长辞，王安石去世的消息传到首都，时任宰相，一直反对新法的司马光建议朝廷优加厚礼，他说王安石“文章节义过人处甚多，但性不晓事而喜遂非。”又言：“人言安石奸邪，则毁之太过；但不晓事，又执拗耳。”（王安石有拗相公之称）

虽然朝廷在高太后的主持之下尽废新法，但是皇帝宋哲宗对王安石并无反感，反而是对其父与王安石所进行的熙宁新法多有向往（后来其亲政之后即全面启用新党即是证明），于是采用了司马光的建议，加赠王安石太傅名位，以增哀荣。并由翰林学士苏东坡制词《王安石赠太傅》，词曰：

“将有非常之大事，必生稀世之异人，使其名高一时，学贯千载；智足以达其道，辩足以行其言，瑰伟之文足以藻饰万物，卓绝之行足以风动四方，用能于期岁之间，靡然变天下之俗。……庶几有知，服我休命。可赠太傅。”