神宗希望司马光能很好地发挥作用，辅佐自己早日挽救危机，实现国家的振兴。熙宁三年（1070年）二月十二日，擢司马光枢密副使，可是司马光以“不通财务”、“不习军旅”为由，坚决推辞，从十五日到二十七日，连上五封札子，自请离京，后以端明殿学士知永兴军（现陕西省西安市）。

　　熙宁四年（1071年）四月九日，他看到他的好友范镇因直言王安石“进拒谏之计”、“用残民之术”，因而被罢官。司马光愤然上疏为范镇鸣不平，并请求任职西京留司御史台，自己退居洛阳，绝口不论政事，以书局自随，继续编撰《通鉴》，时间长达15年。

　　元丰七年（1084年），司马光已六十六岁，《资治通鉴》全部修完，是年七月十一日全书呈上，十一月，《通鉴》的最后部分《唐纪》和《五代纪》修成以后，司马光连同《通鉴考异》、《通鉴目录》一起奏进给神宗皇帝。神宗皇帝十分重视，将书的每编首尾都盖上了皇帝的睿思殿图章，以其书“有鉴于往事，以资于治道”，赐书名《资治通鉴》，并亲为写序。十二月初三日，神宗降诏奖谕司马光，说他“博学多闻，贯穿今古，上自晚周，下迄五代，成一家之书，褒贬去取，有所据依”。并赏与银、绢、衣和马，擢升司马光资政殿学士，迁范祖禹为秘书省正字。

　　元丰八年（1085年），司马光六十七岁。三月七日，神宗病死，年仅10岁的赵煦继位，是为哲宗。哲宗年幼，由祖母皇太后当政。皇太后向司马光征询治国方略，司马光上《乞开言路札子》，建议“广开言路”。司马光又一次呼吁对贫苦农民不能再加重负担，而且主张新法必须废除，要对农民施以“仁政”，接着上第二份奏疏《修心治国之要札子》，重点谈用人赏罚问题，提出保甲法、免役法和将兵法是“病民伤国，有害无益”。

　　皇太后下诏起用司马光知陈州，不久，又下诏除授门下侍郎（即副宰相）。但司马光上疏辞谢，以自己“龄发愈衰，精力愈耗”，请求只任知陈州。以后在周围亲友支持下还是到任就职了。司马光向皇太后进言，为了实现废除新法的政治主张，把因反对新法而被贬的刘挚、范纯仁、李常、苏轼、苏辙等人招回朝中任职，吕公著、文彦博等老臣也被召回朝廷任职。