宋朝当朝弹劾他人不成的话，往往会有一方被贬官，但文彦博身为宰相并没有因为此事而被罢相。
最终让文彦博罢相的原因也是赵祯亲手促成的。
张妼晗虽然丧失了生育能力，但依旧得赵祯宠爱，荣宠不减当年，所以张妼晗便借机吹耳边风，请求赵祯给她的叔父张饶佐一实位，于是赵祯便任命张尧佐为宣徽使，兼任河阳知府。
却不想被御史唐介给看穿了。
唐介字子方，江陵人。北宋著名谏臣，为人刚正不阿，属于那种眼里揉不进沙子的人，以直言闻名天下。
唐介知晓了此事就对同僚说：“这是皇上要给张尧佐宣徽使这一职位，而借河阳知府这个虚名罢了，我们不能就此罢休啊。”
同僚们都模棱两可，只有唐介上言抗争。结果赵祯对他说：“任命的提议出自于中书省。”
唐介见此趁机弹劾宰相文彦博在蜀州做郡守时制造了一种镶金的绸缎，并将这种绸缎献给了张贵妃，而得到宰相之位，请求皇上罢免文彦博的宰相职务而任命富弼为宰相。
唐介的话里包含着讽刺赵祯受后宫干扰而胡乱用人，委以重任，赵祯闻后大怒，说要把他贬谪远方。
唐介慢慢地把他的奏疏读完，说：“我受忠愤所激，即使对我处以烹刑我也不回避。贬谪远方又有什么可推脱的?”
皇上连忙召来执政给他们看奏文说：“唐介上疏谈论大事是他的责任。至于说文彦博靠嫔妃的力量做了宰相，这是什么话呢?任用官员，她们怎么可参预呢?”
当时文彦博在面前，唐介责问他说：“文彦博应当自己反省一下，如果有这回事，就不能隐瞒。”
文彦博拜倒在地，不住地谢罪，皇上更加愤怒。梁适呵斥唐介叫他下殿，修起居注蔡襄连忙向前替唐介开脱。结果，唐介被贬到春州。