显庆四年（659年），许敬宗指使人向高宗呈奏密章，称监察御史李巢勾结长孙无忌，图谋造反。唐高宗便命许敬宗与侍中辛茂将一同审查。许敬宗奏道：“长孙无忌谋反已露苗头，我担心他知道事情暴露，会采取紧急措施，号召同党，必成大患。希望陛下能果断处理，尽快拘捕。”

长孙无忌画像

唐高宗哭道：“我怎忍心给舅舅判罪，后代史官会怎么看待我？”许敬宗举汉文帝杀舅父薄昭，天下以为明主之例，宽慰高宗，又引“当断不断，反受其乱”的古训，催促其下决心。唐高宗也不与长孙无忌对质，便下诏削去他的官职和封邑，流徙黔州，并让沿途州府发兵护送。长孙无忌的儿子都被罢官除名，流放岭南。

同年七月，唐高宗又让李勣、许敬宗复审长孙无忌谋反案，许敬宗命中书舍人袁公瑜到黔州审讯无忌谋反罪状。袁公瑜一到黔州，便逼令长孙无忌自缢。长孙无忌死后，家产被抄没，近支亲属都被流放岭南为奴婢。

上元元年（674年），唐高宗追复长孙无忌官爵，命其孙长孙元翼承袭赵国公爵位，并将他陪葬昭陵。