了李元吉的谗言，三番两次的上当，这一次，李渊将程知节外放为康州刺史。贬了官职。程知节在离开长安的时候对世民说：“秦王的辅佐之臣快走光了，秦王您自身又怎么能够长久呢！我誓死不离开京城，希望秦王您能及早将定下计策。不要让那些一心对你的臣子心寒。”李元吉认为所有人都能用金钱买通，竟又用金银丝帛引诱右二护军段志玄，但是段志玄身为李世民的右二护军统帅，定然是不肯从命。

李建成看李元吉多次都没有顺利，认为他一直是想要礼贤下士，但是他想要买通的都是李世民身边的武官，武官鲁莽赤胆甘心，很难被说服，便对李元吉说：“在秦王府有智谋才略的人物中，值得畏惧的只有房玄龄和杜如晦。如果你能将那两人收归己用的话，那么你还怕那些大臣不向我们投诚吗。”

次日，李建成与李元吉以房玄龄和杜如晦二人目中无人，心高气傲，对王子无力为由又向高祖诬陷他们二人，使他们遭到斥逐。

在这么短的时间之内，李元吉与李建成，就将李世民身边的心腹都给排挤光了，而如今李世民的心腹只剩下长孙无忌还留在秦王府中。而能伴他左右的也只有，李世民与他的舅舅雍州治中高士廉、右候车骑将军三水人侯君集以及尉迟恭等人，此等几人，心中对于李元吉与李建成的恶行都心知肚明，便日以继夜地劝说世民诛杀建成和元吉，但是李世民面对手足情深，依旧是犹豫不决。此外世民可能还曾向灵州大都督李靖、行军总管李世勣问计。

终于，于武德九年六月四日（公元626年7月2日），李世民向李渊告发了李建成和李元吉的阴谋，李渊决定次日询问二人。李建成获知阴谋败露，决定先入皇宫，逼李渊表态。在宫城北门玄武门执行禁卫总领常何本是太子亲信，却被李世民策反。六月四日（庚申），秦王亲自带一百多人埋伏在玄武门内。李建成和李元吉一同入朝，待走到临湖殿，发觉不对头，急忙拔马往回跑。李世民带领伏兵从后面喊杀而来。李元吉情急之下向李世民连射三箭，无一射中。李世民一箭就射死李建成，尉迟恭也射死李元吉。东宫的部将得到消息前来报仇，和秦王的部队在玄武门外发生激烈战斗，尉迟恭将二人的头割下示众，李建成的兵马才不得已散去。之后，李世民跪见父亲，将事情都经过都告知了李渊，李渊虽然也痛恨自己的儿子竟然会如此的狠心，但是就算自己的儿子再这么做错，毕竟是自己的儿子，罪不至死。原先李渊也是恼羞成怒，想要治李世民的罪，但是如今眼看着自己的身体每况日下，时日无多，而如今自己的四个儿子也只剩下了李世民一个。李渊虽然很痛心，但是。面对这样的形势，他只好顺势应变，立李世民为太子。两个月后，他又传位给李世民。