高宗听了他的话,犹豫不决,哭着说:“我绝不忍心处罚长孙无忌,我真是怕后代的史官将说我不能与亲戚和睦相处,使事情糟糕到这样的地步。”许敬宗蛊惑说:“汉文帝是汉朝的明主,薄昭就是文帝的舅舅,文帝从代郡(治所在今河北省蔚县西南)来到京城之时,薄昭是有大功劳的,情况与您和长孙无忌之间没有什么差别。后来,薄昭犯了杀人罪,文帝重视法律的尊严,命朝臣穿上丧服,去薄昭的住宅哭着处死了薄昭,而后代正直的史臣不认为这是过失。现在,长孙无忌忘记了先朝皇帝的大德,舍弃与陛下的亲近的关系,听信邪恶的计谋,怀有叛逆之心,意在使百姓遭难,若与薄昭的罪恶相比,那实在是不可同日而语。如果按刑法来衡量,应该诛灭五族。我听说,当断不断,反受其乱,关系大局的事,不能有半点犹豫和差错,若稍迟延,恐怕变故就要发生,请您早作决断!”
高宗是个昏君,他没有亲自查问长孙无忌谋反的证据,只听许敬宗的虚构诬陷之辞,就免去长孙无忌的官爵,将其流放到黔州(今四川省彭水县)。长孙无忌的儿子秘书监、驸马都尉长孙冲等人也被一律除名,流放到岭外(岭南地区)。不久,许敬宗与李义府再派大理正袁公瑜到黔州重新审问长孙无忌,要坐定他谋反的罪名。袁公瑜趁机逼迫长孙无忌自缢而死,将其家产全部没收。