九月十二日，武后制《外戚诫》献于高宗。彰显自己并不在乎提拔外戚的意思之余，话里话外似乎也敲打着长孙家族。

同年，十一月初五，武皇后生下了她的第四个孩子：三子李显。

这时候，高宗对新晋信臣的宠任已经到了极端的程度。洛州女子淳于氏有美色，却是个杀夫疑犯，由于案情重大被送押大理寺。可是正所谓没有最猛，只有更猛，李义府居然毫不在乎淳于氏的光荣历史而看上了她，硬让大理寺丞毕正义直接送进自己府里纳之为妾。这事被大理卿段宝玄一本奏上朝廷，高宗稀奇之下命人调查。李义府怕事情闹大，为了封口硬是逼着堂堂四品官毕正义上吊自杀。这样一桩奇案，高宗居然在“知之”后，满不在乎地“不问”了。

这样的枉法纵容，当然是因为李义府是个得力的助手，正所谓人有人路蛇有蛇道，敢于这样胆大妄为不按规矩出牌的也可算是非一般人材，难逢难遇。常言有云：成大事者不拘小节，高宗就是这样一位欲成大事的人物。只要李义府还肯听指挥，一切都好商量。高宗是要留着他派大用场的。

就在同一年，拔除长孙无忌“同党”的行动开始一步步进行。

看着这样的形势，大约是出于背水一战的决心，长孙无忌的姻亲韩瑗向高宗上书，为禇遂良喊冤了。然而令人哭笑不得的是，老臣派吃了一场又一场的大亏，却仍然没有弄明白高宗心头的大忌，还在絮絮叨叨他们“先朝老臣”、“扶立陛下”的功绩：“社稷之旧臣，陛下之贤佐。”“陛下无故弃逐旧臣，恐非国家之福！”

不用想了，原本是哪里跌倒的，还要继续在同一个地方摔下去。这样的对白听在高宗的耳朵里，后果可想而知。“上不纳。”韩瑗试探不果，知道结局将不妙，再次要求“归田里”。又是“上不许。”

高宗是绝对要让韩瑗闭嘴的，但是岂能让他走得如此干净，还反过来给自己这个皇帝戴上一个“无故贬退旧臣”的名声？果然，没有多久，许敬宗和李义府就出手了。两人一齐上奏，诬陷韩瑗、来济与外放的禇遂良勾结，想要图谋不轨。奏章一上，高宗全本照准。韩瑗背着罪名，从锦绣长安被贬出京城，做了振州（海南三亚）刺史，来济则贬为台州（浙江临海）刺史，禇遂良加贬为爱州（越南清化|）刺史，可怜的王皇后舅父柳奭加贬为象州（广西象州）刺史，长孙无忌的表弟高履行也由堂堂太常卿驸马都尉贬为益州（成都）长史。