建武三年，朱浮被彭宠围困在蓟县，动弹不得，上谷郡的耿况派兵解围未果。
不久涿郡太守张丰迷信术士所言，那术士说张丰当为天子，还用五彩布囊裹了一块石头挂在他的手肘上，说石头里有玉玺，张丰真信了，自称“无上大将军”，并与彭宠联合。彭宠得此强援，不觉飘飘然起来，自称燕王，信心满满。
朱浮慌了，急忙上书请求刘秀御驾亲征，被大司徒伏湛劝止。直到建武四年五月间，刘秀再赴河北，以稳定战略大后方。不过中途又出现了状况，原来阴丽华随军出征，在元氏县生下了一个男孩，就是后来的汉明帝。
前锋祭遵部一马当先，强攻涿郡，张丰的功曹不愿跟他送死，反水擒住张丰，然后开城投降。愚蠢的张丰临死之前，还念念不忘：“我手肘上绑着玉玺呢！”祭遵想让他死个明白，就把那块石头砸碎，里面根本什么也没有。
此时刘秀已过卢奴，一则皇子诞生，二则战事顺利，便决定返回洛阳。祭遵屯驻良乡，骁骑将车刘喜屯驻阳乡，以拒彭宠。
消息灵通的彭宠亲率数万主力，又派弟弟彭纯引两千匈奴骑兵，向汉军发起主动进攻。彭纯部南下经过军都山时，遭到上谷耿舒部的袭击，匈奴两王被杀，彭纯逃回渔阳。
祭遵也以攻为守，在潞城袭破彭宠部将李豪，斩首一千余级。此后双方相持一年有余，祭遵数次击退彭宠，使得渔阳形势逐渐稳定下来。
听到刘秀銮驾返回的消息，诸将大惑不解，只有吴汉说：“陛下精通军事，其中自有道理。”迎驾之时，诸将小心询问，刘秀神秘兮兮地说：“魏郡有贼，所以才返回。”结合实际情况，刘秀这样说，或许是为了保密。先是将身怀六甲的阴丽华带在身边，后向诸将隐瞒实情，显然是在忌惮某些东西。
刘秀想在洛阳享受天伦之乐，却被朱浮这个不争气的扫了兴致。原来彭宠打不过祭遵，但对付朱浮还是绰绰有余，围困蓟县数月，城中粮食耗尽，已经开始人吃人。此时耿况派来一支援军，试图解围。援军没能冲开包围圈，却吸引了彭宠军的注意力，朱浮不顾一切地向南突围，向良乡靠拢。
朱浮手下士兵哗变，他杀了妻子以免受辱，单骑逃回洛阳。尚弹劾，说朱浮祸乱幽州，逼反彭宠，又不敢以死明节，按律当斩。刘秀念及旧情，改任他为执金吾，负责京师防务。
建武五年，彭宠之乱最终以戏剧化的方式落幕了。近来一段时间，彭宠总是心神不宁，甚至出现了幻听，总觉得火炉内乱的征兆。他觉得最有可能背叛自己的，就是曾在洛阳为质的堂弟彭子后，就让他带兵在外，无事不得入见。
日防夜防，家贼难防。有一天彭宠正在榻上小憩，他的三个家奴心怀歹意，要拿他的脑袋去领赏。以子密为首的三人悄悄溜进去，把彭宠绑了个结实，然后假传彭宠的命令，把府中人员控制起来。彭宠急忙喊自己的妻子，她跑来一看，大惊失色，三人就要动手杀人，彭宠急中生智，忙让妻子置办行装。
子密心领神会，就和其中一人跟着彭妻去取财物，让另一个人看着彭宠。彭宠趁机忽悠他放了自己，这人动摇了，探头出去四面观察，看周围有没有人。结果子密很快回来了，把彭宠夫妇都关起来，开始收拾金银细软。
挨到黄昏时分，子密让彭宠手书一封，作为通关文牒，然后砍下彭宠夫妇的首级，径直往洛阳去了。而渔阳的将领们见彭宠久不露面，大门又紧闭着，翻墙而入才发现出了大事，便推举彭宠的儿子彭午为王。但毕竟人心已散，不久伪国师韩利杀了彭午，率众向祭遵投降，渔阳宣告平定。
此外在建武三年，因邓禹在关中作战失利，刘秀拜冯异为征西大将军接替邓禹。两军会师后，邓禹不顾冯异劝阻，执意与赤眉军决战，结果大败。邓禹仅率二十四骑逃回洛阳，把烂摊子甩给了冯异，此事可以看作是南阳派与颍川派的摩擦。只是因为冯异低调隐忍，并最终反败为胜，才没有酿成更严重的后果。
堡垒最容易从内部攻破，不要觉得刘秀的对手太弱，统一天下的过程顺风顺水。光是协调内部矛盾，维持利益集团之间的平衡，都要占去大量精力。从建武四年开始，刘秀便在东西南北各个战场上巡视，一为督战，二为调和诸将，起到了很好的效果。
云台二十八将的斗争不过是刘秀麾下三大集团战斗的缩影而已，三大豪强集团的斗争贯穿了整个东汉，即便是到了三国时期也没有消停，而且还加入进来了山东豪强，关西豪强，蜀中豪强，淮南豪强以及江东豪强等等诸多豪强集团。
总的来说，三国就是诸多豪强选择的代言人的战争。
汉末中央的混乱，导致了原有的平衡打破了，全国性的豪族不再辉煌，各自找到代理人，开启了三国争霸时代，由于曹操异数的崛起，为啥说是异数崛起呢，因为十八路诸侯，各个都是公卿名士，累世做官的，要么就是这些世家的曲部，曹操算是寒门加宦官之后。颍川旬氏投靠曹操的先发优势，天子定都许昌的地理优势，颍川的豪族开始全国性的崛起。
作为河北的当权者袁绍，成为了河北豪族的代理者，如果说袁绍成为了一统者，那么河北豪强会再次成为全国性的豪族，可惜袁绍败了，河北豪族被迫融进到曹魏政权，随着曹操一统北方，颍川豪族成为全国性合法豪族不远了，加上和沛谯军事贵族的联姻，这种趋势势不可挡。
不过作为一个异数，司马懿出现了，司马懿是河内人，作为要取代曹魏的权臣，虽然没有杀尽曹魏皇室，但是其周围枝叶，颍川豪族和沛谯贵族一个一个被杀被贬，留下的权利真空，不得不依靠河北豪族，和司马家族。
作为北方政权，南方势力无法插手，作为定都洛阳地理位置，排除关中势力，河北豪族开始了复兴。
颍川作为四战之地，全国统一稳定还好一点，地方豪强能够分的一杯羹，一旦战乱必是人口凋零失去根基，颍川豪强的崛起跟曹操中原崛起一样都是异数，河北豪强的顽强，真是出人意料，从东汉开国，到唐朝末年，一直都是活跃在政权之中，贯穿门阀政治的整个过程。
刘备集团现在招募的人才，大都是寒门出身，有的甚至连寒门都不是，这也是陈元有意识选择的结果。
不然的话，如果真搞进来太多的豪强世家的人才，且不说能不能尿到一个壶里，最后刘备也有成为光武帝刘秀的危险，最终成为了豪强世家的代言人，这可跟陈元的谋划不符。
所以，陈元在招揽人才的时候尽可能的把寒门和贫民人才招揽过来，但是也不是说不要豪强世家的人才，毕竟太香了，但是要注意比例。
陈元心中自然有数，这一次在河北大规模的招揽了这几个人之后，后面就不会再随便招揽人才了，因为现在刘备麾下人才已经足够使用了。