西边的战事刚趋于平息，京师里，英宗就盯上了三司使蔡襄。

英宗要将蔡襄从京师赶走，出知杭州。

这件事所释放出来的信息是，英宗对不利于自己的人和事，必是不肯放过的，他要一件一件地来处理。

在这些日子里，人们竞相传说，当年，仁宗选定英宗做皇子，内廷宦官宫女多持反对意见，蔡襄也有奏章表示异议，认为英宗身体状况糟糕，恐不堪大用。英宗病愈亲政以后，对蔡襄耿耿于怀，好几次向宰辅大臣问道：“蔡襄到底是个什么样的人啊？”

有一次，蔡襄因老母患病，早朝请假，英宗疾言厉色地责问中书大臣：“三司执掌天下钱谷，事务繁忙。蔡襄十天当中因私请假四五次，是不是在他眼中，家比国家更重要，既然如此，为什么不换人？”

韩琦奏告：“三司使没有过失，照顾老母情有可原，哪有理由罢免？再说，今天要找一个才识名望超过蔡襄的人，实在不容易。”

欧阳修接着进言道：“蔡襄家有八十余岁的老母亲，老母体弱多病，的确需要照顾，今天他请早朝假，太阳出来就会上班，并没有荒废三司事务。”

尽管如此，大臣们奏事，凡有涉及三司的情况，英宗总是忿然不乐。

被英宗瞧不上，非同小可，蔡襄迫于疑惧，多次上书请知外郡。在决定蔡襄去留的时候，韩琦问英宗，是不是亲眼见到过蔡襄反对立皇子的奏疏。

英宗说：“宫中虽然找不到文字证据，但是早在庆宁堂时，我就听说过这回事。”

庆宁堂是英宗即位前的府邸阁，英宗所读经籍之处。按说以英宗当初的地位，宫廷里所议之事应该传不到那里。但英宗既然这么说，则说明这样的风声当时已经有了。

韩琦、曾公亮都奉劝英宗不要轻信流言蜚语，指出小人们惯用“疑似之言”陷害忠良。

欧阳修更是径直问道：“陛下认为这件事到底是有还是没有？”

英宗回答：“虽然没有文字证据，又怎么能肯定它一定没有呢？还记得《四贤一不肖》么？”

那是景祐三年（1036）的事，范仲淹因得罪宰相吕夷简落职饶州，余靖、尹洙、欧阳修也因仗义执言纷纷被贬出京。而当时不过二十五岁的蔡襄，还只是个人微言轻的小官，连站出来仗义执言的资格都没有，于是，他挥笔写下了著名的《四贤一不肖》诗五首，称颂范仲淹、余靖、尹洙、欧阳修为“四贤”，唾骂诬陷范仲淹的谏官高若讷为不肖之徒。

欧阳修不同意英宗的看法：“这根本就是两码事。现在陛下所怀疑的事情，不要说没有证据，就是有了证据，也需要辨别真假。前朝夏竦陷害富弼，指示婢女仿习石介笔迹，伪造石介替富弼撰写的废立诏书，全靠仁宗英明，富弼才得到保全。至和初年，我治丧返回朝廷，小人伪造我请求淘汰宦官的奏稿，传布朝廷内外，宦官对我无不咬牙切齿，判流内铨才六天，就出知同州，也是全靠仁宗保全，我才有今天。由此可见，即使有了文字根据，也要分辨真伪，何况没有任何证据，希望陛下不要多疑。”

英宗仍然愤愤不平：“朕难道还能冤枉他不成，为什么不讲别人，就讲蔡襄呢？”

他最终还是让蔡襄罢免三司使出守杭州去了。