赵广汉除了断案能力强，也很会用人。在担任京兆尹期间，赵广汉待下属很好，有时他立了功被嘉奖，他会说这是自己的属下所为。他对待下属真诚，下属就愿意跟他说心里话，他愿意为下属的前途着想，下属就甘愿为他效命。赵广汉很会用人，知道哪个人适合哪个岗位，也知道下属是否在全心全意为自己做事。
但赵广汉再厉害，也不可能让京兆尹的所有官员都发自内心听他的，那么多属下中，必然有一些官员不喜欢他，甚至不听他关于加强作风建设的讲话，违法乱纪。不过聪明的赵广汉总能知道这些情况，他会先给此人一个警告，倘若此人仍不悔改，他将毫不手软，将其法办。
赵广汉发现，一些基层小吏经常会为了搞点儿外快而滥用职权。赵广汉深知水至清则无鱼的道理，他没有去惩罚这些小吏，而是给小吏们加薪，从此之后，小吏的生活有了保障，京兆尹地区官民的关系就和谐了许多。他的这一举措，和后来刘病已在全国范围内提升基层官吏的待遇一样，都是“高薪养廉”。
京兆尹在赵广汉的治理下，政通人和，一派欣欣向荣，老百姓都赞美赵广汉，认为汉兴以来，历任的首都长官没有一个比得上赵广汉。
在三辅地区，除了京兆尹，还有左冯翊和右扶风，由于赵广汉声名在外，以至于另外两个地区的长官在遇到疑难案件时都甩给赵广汉，因为他们知道，赵广汉是神探，自己解决不了的，赵广汉都能解决。
面对这个情况，赵广汉也有些无奈，他曾叹道：“乱我京兆尹地区的，是左冯翊和右扶风啊。如果把这三个地区交给我一起治理，我也能干得很好。”
赵广汉的话里面，有些不满情绪，但不满的原因绝不是自己多干了其他二辅的工作，而是朝廷没有让他一个人把其他二辅的所有工作一起干了，他的话中，更多的其实是自豪，是对其他二辅长官的不屑。
不过，一个人倘若做事情太过顺利，就会产生自己永远正确的错觉。赵广汉在京兆尹的几年，有扎实的政绩、民众的赞赏、同僚的信任，仕途一帆风顺，这让他不由得飘忽起来。
比如霍光死后，他就迅速做出判断：霍家的好日子即将到头，刘病已将霍家当成眼中钉，要除之后快。
赵广汉是神探，自然了解京城豪族的情况，清楚霍家人有哪些违法乱纪的行为。比如他知道，朝廷不允许京城的人私自从事屠宰和卖酒行业，可霍家人非要做。
赵广汉决定站队。他带着一帮人，毫无征兆地冲入霍府，到处搜索，找到霍家人用以酿酒和盛酒的器具，将它们砸碎，最后还砍坏霍府的大门才大摇大摆地离去。
霍家人都快被赵广汉气死了。赵广汉的行为，明明就是看霍光不在了，因而想将霍家人打翻在地，再踏上一脚。赵广汉之前还是跟着霍光混的，可霍光刚刚去世，他就见风使舵，世上还有比这更卑劣的吗？
可他们不能把赵广汉怎样，因为赵广汉是在依法办事，赵广汉完全能理直气壮地说：“大将军去世前我不知道你们犯法的事情。”
但明眼人都清楚，这根本不是依法办事，而是赵广汉挑战霍家。
破案天才和汉朝最有权势的家族斗法，这件事很快就引起轩然大波。当时，霍光女儿是皇后，说什么也不能忍受娘家遭此侮辱，就整日在刘病已面前啼哭，要求将赵广汉法办。
那时候，刘病已尚不知霍光夫人杀死许平君的事情，和霍成君的感情很好，他拗不过霍成君，就把赵广汉找来询问。
但刘病已打心底欣赏赵广汉的行为，所以他把赵广汉召见之后，就再也没有下文了。而在赵广汉看来，刘病已没有惩罚自己，就是在支持自己。
挑战霍家之前，赵广汉也许还有过犹豫，考虑过其中的风险，但是和刘病已一番谈话，让他确信自己的这个决定是高明的。于是赵广汉愈发自信，也愈发大胆。
他惹怒了一些皇亲国戚，但他不害怕，因为他相信以自己的聪慧绝对能应付那些无能的贵戚。京兆尹这地方，随便一个其貌不扬的人，都可能是公主王侯的亲戚，处理事情时不能单单依靠朝廷的法令，经常需要权衡各方势力，最后做出双方都满意的裁决。对待达官贵人，和对待平头百姓不同，因为在处理后者的问题时，只要有法可依就行，可前者不同，那需要协调各方关系。然而赵广汉现在已经很有成就，实在不想再为那些无能的贵戚伤脑筋，于是他开始重用那些锋芒毕露、天不怕地不怕尤其家里有点儿势力的小青年，让他们替自己在京城地区横冲直闯。渐渐地，赵广汉做事已经没有了之前的恭谨，有些专横霸道了，虽然按照法律他可能是对的。
赵广汉没有吃过亏，他非常相信自己的能力。他相信只要自己出手，任何高官都会拜服在自己脚下，他还相信，以自己的聪明才智，就算做错些事情，只要他及时出手，也一定能力挽狂澜。
赵广汉接下来惹着的，就是丞相魏相。
事情的起因是，赵广汉有个门客，在长安偷偷卖酒，相当于开黑市卖酒。这种见不得光的事情，本来很隐蔽的。可忽然有一天，丞相府来了官员，把此人的店铺给抄了，还将这个人撵走。
赵广汉的门客平时霸道惯了，突然遭了这么一闷棍，非常不爽，他想来想去，觉得可能是一个叫苏贤的人告的状，于是他把自己的想法告诉了赵广汉。
赵广汉觉得这事情太简单了，他只消略施巧计就能让苏贤以后闭嘴。他让长安县丞把苏贤抓起来，并指使另一个属下弹劾苏贤，说苏贤作为骑士，擅自离开军营。
但赵广汉想错了，他低估了和他作对的人。
苏贤被抓后，苏贤的父亲立即上书告状。他告的不仅是弹劾苏贤的人，还有赵广汉。
朝廷将这个案子交给有关部门查办，然而有关部门的查办结果让赵广汉大失所望：腰斩弹劾苏贤的男子，并逮捕赵广汉。
事情到这一步，赵广汉忽然清醒了，他意识到，自己遇到了一伙有准备的对手，于是等有关部门来审讯他的时候，他承认误抓苏贤的事实。
赵广汉是京兆尹，误抓一个骑士也不是多大个事儿，更何况他没有伤害苏贤，又悔过及时，所以赵广汉只是得了个处分，降了点儿工资。
赵广汉吃了瘪，非常郁闷，他当京兆尹多年，还从来没吃过这等闷亏，他要做什么事，就算再危险也能全身而退，从来没失手过，可这一回怎么搞得如此狼狈呢？
赵广汉不希望自己的不败神话被一个小小苏贤打破，他决定报复。他憋着股劲，查了一段时间，也不知有没有证据，反正就怀疑是苏贤的老乡荣畜搞的鬼。
赵广汉很快就编派了个罪名把荣畜杀了。
事情本该到此结束的。可赵广汉还是没想到，苏贤的案子是个马蜂窝，荣畜死后，立即就有人把他告了。
案子下到丞相和御史大夫处，两个机关高度重视，非常仔细地查办此案。
这时赵广汉也许察觉到自己误判了，否则以他的地位和声望，被人弹劾了还不至于要丞相和御史大夫一起来调查。
赵广汉发现自己被动了，该怎么冲出重围呢？
他打算对丞相下手，等自己手上有了丞相的把柄，丞相就不敢对自己怎样。
他派人去丞相府当卧底，暗中调查丞相，尤其是发掘丞相的不法之事。
不久之后，卧底回报：有个服侍丞相的婢女最近自杀了。
赵广汉得知此事，脑中飞速运转，他觉得婢女之死必有蹊跷，他怀疑那是魏相的妻子和婢女争风吃醋，才将婢女杀死。
赵广汉决定以此来威胁魏相。他派人警告魏相，最好不要再穷究自己的案子，否则他魏相也没有好果子吃。
魏相是百官之首，被人威胁后勃然大怒，他根本不吃那套，当即下令严查赵广汉的案子。
局势让赵广汉看不明白了，这魏相怎么就不害怕呢？
赵广汉找到了懂得看天象的官员，天文官告诉赵广汉，今年会有高官被杀。
赵广汉认为此人很可能就是魏相。
于是他孤注一掷，上书告魏相的妻子残杀无辜。
让人难以理解的是，赵广汉写的弹劾书，可朝廷居然让赵广汉来查办此案。
赵广汉得到朝廷的这个指示，非常高兴，因为他知道自己做对了，他立即召集人马，冲入丞相府，抓了丞相夫人，就地审讯。
那时候的审讯，大都包括刑讯逼供，魏相的夫人经不住刑罚，就违心说是自己嫉妒那婢女和魏相私通，才把那婢女害死的。
不大一会儿，赵广汉就得到了自己想要的审讯词，然后他抓了丞相府的十几个婢女满意离去。
魏相是丞相，又是刘病已身边的红人，而赵广汉不过是个京兆尹，低魏相好几级。可现实情况却是魏相的夫人被赵广汉毒打，丞相府还被赵广汉强闯，更可恨的是，赵广汉说自己的夫人因为妒火太旺而杀死婢女的控告，纯属子虚乌有。赵广汉如此对待魏相，魏相怎能咽得下这口气？
魏相说什么也不会罢休，因为这不但事关正义，更关乎魏相个人的尊严。他立即上书给刘病已，否定赵广汉的控告，同时反告一状，说赵广汉多次犯法，还胁迫自己，他希望刘病已安排个公正廉明的人来查办此案。
刘病已把案子交给了廷尉，廷尉名叫于定国。
于定国很仔细地查案，查到的结果是：那个婢女，是犯错误后被魏相打了一顿，之后在丞相府外边自杀的，并非赵广汉声称的争风吃醋。
刘病已也许想信任赵广汉，可他更信任于定国，因为于定国是个非常公正的法官。此人审案十分小心，他坚持疑罪从轻的原则，广受好评。人们经常把他和汉文帝时代有名的廷尉张释之比较，说张释之当廷尉，天下没有被冤枉的民众；于定国当廷尉，天下没有民众觉得自己冤枉。
看到调查结果的刘病已对赵广汉十分不满。
恰在此时，丞相司直萧望之也上书一封，认为赵广汉不廉洁奉公，用卑鄙的方式折辱大臣，有伤风化，属大逆不道。
因此，刘病已也觉得赵广汉可恶，遂下令将赵广汉逮捕。
赵广汉倒台后，很快就有人状告他杀害荣畜、构陷苏贤的事情。
刘病已不打算再姑息赵广汉，批准将赵广汉处死。
在和魏相的斗争中，赵广汉的行为算得上卑劣，但这些卑劣却是普通百姓所见不到的，所以赵广汉在民间仍然受人爱戴。据说在行刑那天，数万老百姓和小官吏聚集在城墙下号哭，为赵广汉说情，有人还明确表示：我这辈子对官府没有贡献，而今只希望能够替赵京兆死，好让他继续当我们的父母官。
这个请求非常感人，但也可能是赵广汉的追随者导演的一出戏。也不知斗争的胜利方魏相看到这个场面作何感想，是不是有些眼熟呢？多年以前，也曾有许多老百姓拦住霍光替他求情的。
赵广汉最终被腰斩了。但在京城的几年，他打击豪强，受到广大百姓的喜爱，他的事迹，尤其是高超的断案能力，给京城老百姓留下了极深的印象，以至于许多年后，普通老百姓也许不记得魏相，却仍记得赵广汉这位传奇人物。