唐太宗处理裴寂问题是很讲究策略的。从形式上看，裴寂还是受到尊重的，贞观元年，食封一千五百户，比所有的功臣都多，居位第一，实际上被剥夺了预议政事的实权。贞观三年，发生沙门法雅案件。据侦查，裴寂和那个心怀“怨望”的法雅有牵连，就被免官，削食邑之半，放归本乡。 “寂表乞住京师，久而不去。太宗大怒。长安令王文谐坐不发遣令，笞三十”。不久，有人扬言“裴公有天分”。裴寂惶惧，竟然唆使他人杀人灭口。
唐太宗知道后，愤怒地宣布裴寂的四大罪状：第一条， “位为三公而与妖人法雅亲密”;第二条， “负气愤怒，称国家有天下，是我所谋”;第三条， “妖人言其有天分，匿而不奏”;第四条， “阴行杀戮以灭口”。最后说， “我杀之非无辞矣。议者多言流配，朕其从众乎。”于是贬流于静州。
武德时宰相中也有支持李世民的，如陈叔达、萧瑀和宇文士及等人。这三位分别出身于陈朝皇族、梁朝皇族及北周宗室，思想上比较守旧，缺乏进取精神。因此，唐太宗即位后，就逐渐地把他们从宰相的职位上调换下来，另作妥善的安置。武德九年七月，罢免出身于隋朝宗室的中书令杨恭仁，由宇文士及接替。同时任萧瑀为尚书左仆射，封德彝为尚书右仆射。