韦坚本来跟李林甫攀亲，关系还不错，同时他又是财政大臣，广运谭盛会，就是他主持得，那也是朝中的重要人物，所以李林甫也是忌惮他的，但是，他还有第三个身份，就是太子李亨得大舅子，韦坚妹妹嫁给了太子李亨，属于太子的外戚，所以李林甫对他就更疏远了。
韦坚也知道李林甫妒忌的为人，也知道里李林甫不喜欢他，所以他选择站在太子的队伍中。
太子和李适之都是皇帝宗亲，站在李适之的队伍中，李林甫就更要打击他了。
皇甫惟明本来是太子李亨的手下，（朔方都护府）以军功起家，后来当了河西兼陇右节度使，他是一个人就有两大军区在手的人，绝对实力是很强的。
皇甫伟明有太子故旧和边将这两个身份，已经让李林甫很不自在了，他又犯了一个错误，天宝四载，他从西北边疆回来过春节，他跟唐玄宗讲，他觉得李林甫不是一个好人，希望皇帝能够考虑换下人，这样，李林甫就更加容忍不了他了。
天宝5年，杨贵妃第一次被赶出出宫去那一年，元宵节，太子李亨出宫观赏，游玩时遇到了韦坚，碰见了之后就顺便聊聊天，聊完太子回宫了，韦坚却没回家，俩人私下里议论李林甫，碰巧李林甫有人盯着皇甫惟明，韦坚后来又在景龙观见了黄甫惟明，李林甫手下暗中盯梢，将此事说成是太子急于争夺皇位，与他们两人结党共谋，因为他们两个人都曾建议玄宗免去李林甫的官，说他欺压朝堂上的其他官员，李林甫知道李隆基是从亲人的血中堂过来的，他最怕的就是背叛，因此李林甫报复他们。并且通过这个皇帝最忌讳的问题，换一个对自己有利的太子。
太子、外戚重臣、边关武将，凑到一块就是完美的谋反的政变，李林甫第二天一早就派人去弹劾韦坚，弹劾的光明正大，说看到韦和皇甫去道观私会，作为外戚，何事需要密谋，他们不该在热闹的日子里掩人耳目的去道观这种隐秘的地方私会。
外戚、武将、道观将李隆基的思绪拉回到很多年前，他很谨慎，问李林甫知不知道这件事，李林甫说他不知道他们见面的事，不过知道他们都是太子的人。
外面疯传，他们想要拥立太子，正在私下多方结交走动，我知道，昨晚韦坚昨晚在酒楼里见过太子，他们没有避人，去过的都看见了。
李隆基瞬间震怒，把俩人抓起来审，让吉温来审，吉温是只怕案子小，不怕案子大的人，在朝廷里抓了很多人，连韦坚当年治理过河运的地方的民工都抓起来了，要他们承认韦坚也参与谋反了，民工除了挖河，见都没见过韦大人，不承认的就莫名其妙就死了，搞了半天都没有明确的证据，只能是疑似谋反，所以只能给他门两个都贬官了。
天宝五载(746年)，对于太子李亨来说，真可谓多灾多难的年头。
正月，陇右节度使皇甫惟明兼领河西节度使，从驻地来到京师长安，向玄宗进献对吐蕃作战中的战利品，并与太子李亨之间互有往来。
皇甫惟明向玄宗明确表达了应当将李林甫撤职的态度，又大加赞誉韦坚的才干。边将皇甫惟明的介入，使双方暗中的较量一下子成为公开的秘密。
李林甫在得悉了皇甫惟明的密奏后，便利用宰相的有利身份，开始布置反击并加快了行动的步骤。炼整祖这时候，杨慎矜成为李林甫对付太子集团的一员干将。
韦坚被贬之后，他的弟弟将作少匠韦兰、兵部员外郎韦芝上疏替他鸣冤叫屈，二人为了达到目的，还引太子李亨作证，谁知这样一来，招致玄宗的震怒。
太子李亨见状，极感恐惧，为了逃脱自己与韦坚兄弟之间的干系，立即上表替自己辩解，并以与韦妃"情义不睦"为由，请求玄宗准许他们离婚，以表明"不以亲废法"。
玄宗着意对李亨加以慰抚，听任他与韦氏离婚，断绝了关系。
李亨的谨慎确实使他度过了这场政治危机，只是共同生活多年的韦妃不得不从此削发为尼。
李林甫对韦坚一案大加株连，被逼死者甚多。一直到天宝十一载(752年)李林甫死后，此事方才停止。
天宝五载(746年)年底，李亨之杜良娣的父亲杜有邻又惹上了一起政治案件。
杜有邻是李亨的岳父，他一个女儿嫁给李亨，还有一个女儿嫁给了名士，此人为人不负责任，不讲道理，非常狡诈，柳绩状告杜有邻的罪名是"妄称图谶，交构东宫，指斥乘舆"，由于案情重大，直接由宰相李林甫负责委派人员审讯。
柳绩告发岳父杜有邻，缘由是他与妻族不协，想陷害妻子的家人，谁知事情被李林甫揪住不放，将李邕、王曾等一批好友都牵扯进去。
最后李亨也被牵连进来，玄宗立即令京兆府会同御史台官员审问。
案情很快明朗，全部都是柳绩搞鬼。
但李林甫授意手下指使柳绩诬告，他暗示到——你诬告皇族，将要处以极刑，全家跟着受牵连，但是你要是咬出些别的东西来，就可以戴罪立功，将功赎罪，你不就能活命了吗。
李林甫先将案情扩大，又引李邕作证，使案情一下子扩大到地方官员，这些人就是跟他有交集而已，大有废太子李亨于朝夕之势。
但李隆基仍旧态度谨慎，吉温把杜有邻、柳绩以及被牵扯出来的官员都再均在重杖之下丧命，积尸大理寺，家小流徙远方。又灭口了柳绩，李林甫跟李隆基汇报，说被朝廷贬到地方的官员对朝廷不满，往往就跟太子的联络比较多。
玄宗派罗吉奭去地方上查，官员听说罗大人来了，想到与其被他折磨一番也是死，还不如自我了结，其中就包括韦坚、皇甫惟明、李适之。