三桓的家主都是鲁国的卿，他们轮流执政，不当第一执政的时候，也当着朝中的大官，他们天天要上朝，要处理国政，所以都住在国都曲阜的宅邸里，三家都在自己最大最重要的采邑筑了城，作为根据地，万一有事可以退守那里。季孙氏家的根据地是费邑，叔孙氏家的根据地是郈邑，孟孙氏家的根据地是成邑。大夫采邑上所建之城称为“都”，所以，费邑、郈邑、成邑这三座城被人合称为“三都”。
由于三家的家主不住在各自的都里，所以，三都分别由各家任命的邑宰在治理。时间长了，邑宰渐渐成了三都的土皇帝，三都的人民只知道有邑宰而不知道有主人，于是，一些有野心的邑宰就作乱，跟主人分庭抗礼，甚至驱逐主人，前有季孙氏家的南蒯，后有叔孙家的侯马。三桓家主在朝廷里对付国君的那一套，被家臣、邑宰们有样学样地照搬来对付他们，弄得三桓的家主很头疼。
鲁定公十二年，孔子当上了鲁国的大司寇（公安部长），他是最最坚定的王道主义者，一贯主张恢复和维持西周的礼制，一百年不动摇、一千年不动摇……亿万年不动摇！对三桓侵削国君的权利他是很反对的，三桓在各自的根据地建造了规模比国都曲阜还大的城池，他更是深恶痛疾，认为应该把三都全部拆毁。可是，如果没有三桓的赏识和提拔，他根本当不上官，所以，他只能小心翼翼地把自己真正的政治理念埋藏在心底，做一个两面人，表面上跟三桓愉快地合作。
南蒯和侯马作乱之后，他终于看到了毁掉三都的契机，向鲁定公建议：“卿大夫私家不储藏兵甲，他们的都邑不能超过百雉的规模，这是古代流传下来的制度。现在三家的都邑都超过这个制度了，请把三都的城墙全部拆毁。”
毁掉了三都的城墙，就是解除了三桓一部分的防卫功能，要对付他们的时候会方便很多，鲁定公当然马上就采纳了孔子的建议。但是他手里没有实权，想干也干不成，除非三桓自己愿意干。
正巧，孔子的学生子路这时正担任着季孙氏的大管家，他以防止家臣占据都邑作乱为由，劝说季孙斯下令拆毁三都的城墙。
季孙斯同意了。刚发生过叛乱的叔孙氏首先行动，拆除了郈邑的城墙。随后，子路带兵去拆费邑的城墙。不料却碰了钉子，费邑宰公山不狃抗拒，占据费邑发动了叛乱。曾和阳虎一起作乱想夺取叔孙氏家主之位的叔孙辄也出来支持公山不狃，他们乘曲阜空虚之际，率领费邑的人马袭击了曲阜。
鲁定公和“三桓”的家主以及孔子等人一齐逃进了季孙氏的宫室，费邑的人马攻进了季孙氏的宫室。鲁定公等人登上武子之台避难，费邑人攻打武子之台，一度攻到鲁定公的近处。孔子命令申句须和乐颀两位大夫率领三桓的亲兵卫士下台反击，终于把费邑人击退。这时，鲁国的国人也都起来反对费邑人，费邑人大败，公山不狃和叔孙辄只得逃亡齐国。于是，子路率领士兵拆毁了费邑的城墙。
三都毁掉了二都，只剩下孟孙氏家的成邑了。刚刚公山不狃占据费邑作乱又给孟孙何忌上了生动的一课，所以他很赞成拆毁成邑（今山东宁阳县北）的城墙。但是，成邑宰公敛处父不赞成，孟孙何忌也管不住他。
公敛处父对孟孙何忌说：“毁掉了成邑，齐国人必定会长驱直入地抵达曲阜的北门。而且，成邑是孟孙氏的保障，没有了成邑，也就没有了孟孙氏啊！”
孟孙何忌不是很有主见的人，被公敛处父一说，也就打消了拆毁成邑城墙的念头，可是，怎么向季孙氏和国君交待呢？
公敛处父说：“您假装不知道我这边的情况，我们不拆城墙。”
成邑迟迟不拆城墙，鲁定公火大了，亲自带兵来围攻成邑，但是攻不下来。
孔子毁三都的大计，最后就这样功亏一篑。下一年，孔子遇到了更大的挫折。
齐国担心鲁定公和三桓重用孔子会使鲁国变得强大起来，就精心挑选了八十名能歌善舞的美女，给她们穿上华丽的服装，又挑选了一百二十匹良马，给它们披上精美的绣缎，都送来给鲁定公和季孙斯，想让他们沉迷于声色犬马而疏远孔子。
王道主义虽然伟大，VS声色犬马，简直不堪一击，季孙斯被迷得一连三天没上朝听政。子路看到这种情况，对孔子说：“事情已经很清楚了，老师可以离开鲁国了。”
孔子却还抱着一丝幻想：也许季孙斯会憣然悔悟。他对子路说：“快要举行郊祭了，看看他们会不会按照礼节分一份祭肉给我，如果分给我，我还可以留下来。”
郊祭大典隆重举行，孔子参加了陪祭仪式，仪式结束后，他就回到家中忐忑不安地等待着祭肉，可是，等到花儿都谢了也不见祭肉的影子！
其实，与其说季孙氏是被齐国的美女炮弹打倒了，倒不如说是他对听信孔子师徒的忽悠拆毁了费邑的城墙感到懊悔了！从毁三都这件事上，他已经看出，孔子的理念跟自己的南辕北辙，孔子不是自己的同路人，所以不想用他了。
被人轻慢到这种程度，孔子终于忍无可忍，带着数十个随从弟子离开了鲁国，从此，在长达十四年的时间里，他们师徒一行人奔走于卫、陈、曹、宋、郑、蔡、楚之间，几乎是处处碰壁，始终没有寻找到可以施展政治抱负的机会。最后只能回到鲁国，继续干他当官之前的老本行——开办私立学堂，讲学。