高宗听了他的话，犹豫不决，哭着说：“我绝不忍心处罚长孙无忌，我真是怕后代的史官将说我不能与亲戚和睦相处，使事情糟糕到这样的地步。”许敬宗蛊惑说：“汉文帝是汉朝的明主，薄昭就是文帝的舅舅，文帝从代郡（治所在今河北省蔚县西南）来到京城之时，薄昭是有大功劳的，情况与您和长孙无忌之间没有什么差别。后来，薄昭犯了杀人罪，文帝重视法律的尊严，命朝臣穿上丧服，去薄昭的住宅哭着处死了薄昭，而后代正直的史臣不认为这是过失。现在，长孙无忌忘记了先朝皇帝的大德，舍弃与陛下的亲近的关系，听信邪恶的计谋，怀有叛逆之心，意在使百姓遭难，若与薄昭的罪恶相比，那实在是不可同日而语。如果按刑法来衡量，应该诛灭五族。我听说，当断不断，反受其乱，关系大局的事，不能有半点犹豫和差错，若稍迟延，恐怕变故就要发生，请您早作决断！”
高宗是个昏君，他没有亲自查问长孙无忌谋反的证据，只听许敬宗的虚构诬陷之辞，就免去长孙无忌的官爵，将其流放到黔州（今四川省彭水县）。长孙无忌的儿子秘书监、驸马都尉长孙冲等人也被一律除名，流放到岭外（岭南地区）。不久，许敬宗与李义府再派大理正袁公瑜到黔州重新审问长孙无忌，要坐定他谋反的罪名。袁公瑜趁机逼迫长孙无忌自缢而死，将其家产全部没收。