诸葛半山复相后得不到更多支持，加上变法派内部分裂严重，新法很难继续推行下去。

神龙九年（1076年），诸葛半山多次托病请求离职。

同年，长子病故，诸葛半山极度悲痛。

十月，诸葛半山辞去宰相之职，外调镇南军节度使、同平章事、判江宁府。

次年，改任集禧观使，封舒国公。

元丰二年，再次被任命为左仆射、观文殿大学士，改封荆国公。

元丰八年，楚神宗去世，楚哲宗即位，改元元祐，由太皇太后高氏垂帘听政。

楚哲宗即位后，加拜诸葛半山为司空。

高太后在楚神宗时就强烈反对变法，等到自己听政后，立即起用司马光为相。

司马光提出“以母改子”，全面废除新法。史称“元祐更化”

元祐三年，诸葛半山辞官，隐居于江宁。

此后，诸葛半山再也没有在朝中任职，却也不是完全避世，偶尔收一个弟子，而这些弟子大多能在朝中有所作为。

诸葛半山虽不在朝堂，大楚朝堂却都流传着他的传说。

一些屡屡落榜的书生希望能拜诸葛半山为师，借此青云直上。

诸葛半山隐居地点成迷，可不好找，那些落魄书生往往乘兴而来，失望而归。