霍禹大骇，邓广汉和赵平也齐齐一惊。霍禹忙道：“陛下，邓广汉、赵平都对财政不熟，只怕无法胜任。微臣请陛下驳回！”病已笑而不语。刘德大笑道：“右将军这话似乎不对，如果我没有记错，邓广汉和赵平曾经也对军事一窍不通，最后也都手到擒来。”霍禹再次请求病已驳回魏相和丙吉的举荐。
病已扬声问：“既然丞相和御史大夫举荐了二人，那群臣都议一议吧！”大司马张安世、卫尉张延寿、宗正刘德、大鸿胪董梁、廷尉于定国、京兆尹赵广汉、右扶风尹翁归等齐齐附议。霍禹、光禄勋范明友、太仆杜延年、前将军韩增、未央卫尉霍山、期门仆射霍云齐齐反对。其余众人都沉默不语，坐观成败。
众人分成三派，其中支持派人数最多，中间派其次，反对派人数最少。病已笑道：“既然支持者最多，那就调长乐卫尉邓广汉任少府，原少府宋畸调为侍中，长乐卫尉由侍中许舜兼任。骑都尉兼光禄大夫赵平封为大司农，原大司农朱邑调为侍中，骑都尉由侍中张千秋兼任。另外，立刻命蜀郡太守张朔、武威太守王汉两人三日内离京，否则立刻罢官削职。还有，罢去杜延年执金吾职位，只担任太仆，擢拔好畤县县令严延年担任执金吾。”
众人心里清楚，执金吾执掌部分北军，负责京城的护卫和巡查任务，这样的要职岂能让与霍家关系亲密的杜延年担任？严延年既是汉废帝刘贺的岳父，又曾上书弹劾田延年，暗讽霍家，只有这样的人执掌执金吾，朝廷才放心。
霍家先失去了卫尉、羽林令，再失去长乐卫尉和骑都尉，兵权被削弱大半，只剩右将军霍禹的屯兵和未央卫尉霍山、期门仆射霍云的兵马。霍禹大怒，命人关上府门，狂摔古玩，众人又惊又俱，都不敢上前劝。
太夫人胡显听到冯子都禀报，疾步赶来，惊问。霍禹瘫坐地上道：“儿无能，不仅没能留下张朔和王汉，而且连邓广汉和赵平也被罢了兵权。”胡显大骇，“什么意思？怎么会？”霍禹苦笑道：“陛下已经下旨，命张朔和王汉三日内离京，又调邓广汉为少府，赵平为大司农，咱们霍家兵权已经被削去一大半。唉……”
霍禹话音刚落，胡显已经怒不可遏，跺脚道：“刘病已，我诅咒他断子绝孙！你堂堂大将军的儿子，怎么能轻易认输？起来！去把霍山、霍云等人都喊来，我有话要嘱咐。”
待霍山、霍云等人齐聚一堂时，胡显咬牙道：“咱们霍家被打压成这样，你们怎么能无动于衷？是男人就该想想怎么挽回局面！现在陛下是攻势，咱们是守势，迟早败亡。只有转守为攻，才能反败为胜。”霍禹忧心道：“后母，任胜已经去了安定郡，明日张朔和王汉也要离京，咱们……只怕没有机会绸缪啊！”
胡显冷笑道：“未必，张朔和王汉明日照常离京，安陛下的心。其余人要着手谋划，不能再被动挨打了。首先，要积蓄财力，没有钱财，就无人肯效死力。这件事交给邓广汉和赵平，你们二人利用职位便利，化公为私，为将来做打算。其次，要蓄养死士，关键时刻就指望他们奋起反抗！这件事交给霍禹，你向来与江湖游侠多有联系。记住，舍不得孩子套不着狼！还有，仅凭咱们自己的力量只怕不是刘病已的敌手，所以咱们得联系刘姓诸侯王。到时候里应外合，废了刘病已！”
众人大惊，霍山犹疑道：“叔祖母，这件事只怕不容易啊！当初大将军要废昌邑王，还要列举一千一百二十七事恶事，再让满朝文武上书，最后请太后下旨。彼时大将军是辅政大臣，亲信遍及朝廷，又手握兵权；而昌邑王初来乍到，既根基浅薄，又没有兵权。凭大将军的威信和权势，尚且不容易，咱们没有大将军的兵权和威望，而陛下又聪睿智谋，手握兵权，亲信遍布朝廷，咱们贸然起事，只怕是以卵击石啊！”光禄勋范明友也忙附和。
胡显冷笑道：“瞧把你们吓得，没出息的熊样！咱们上有太皇太后，又有皇后，整个后宫都握在咱们手里。我想让刘病已三更死，他绝活不过四更！你们怕什么？再说，咱们手里还握着未央宫和期门兵，如果他刘病已敢轻举妄动，咱们立刻废了他！”
霍禹忧心道：“陛下得人望，这些年兴修水利，减轻徭役，免除赋税，甚至贷民粮食，百姓五谷丰登，谁肯造反？而且任用贤官良吏，罢黜贪官污吏，打压地方豪强势力，百姓无冤屈，谁肯谋反？又重用微末士人，打压贵族，百姓有了上升通道，谁会反抗？”
胡显怒道：“百姓算个屁！当初你爹废昌邑王需要百姓了吗？他们不过是一群乌合之众，就算给你十万也无用。咱们需要的是诸侯国的声援，只要太皇太后废立诏书一下，诸侯王群起攻之，刘病已只有退位一条路。”
范明友小心翼翼问：“可是诸侯王都对陛下心服口服，除了广陵王刘胥，其余人没人肯反啊！”胡显大笑道：“谁说没人？广川王的弟弟刘去被刘病已逼死，他会对刘病已心服口服？还有故昌邑王刘贺，他虽然是被大将军废的，可是夺他皇位的是刘病已，大将军已死，他必然对刘病已恨之入骨！只要咱们许以重利，他必然心动。还有其余诸侯王，都联络一下。只不过除了刘胥、刘贺以外，其余诸侯王，你们不要直接接触，派亲戚与他们联络。”
霍云大喜道：“我舅父养了许多门客，可以让他负责这件事。”众人纷纷附议，于是胡显命霍云舅父李竟负责联络诸侯王。
第二日霍家齐聚，送张朔和王汉出京，前往蜀郡和武威就任。霍禹许下重诺道：“你们安心离去，一年以后我必接你们回来！”张朔、王汉挥泪告别。霍禹转身命奴仆冯子都召集众门客，霍云也嘱咐舅父李竟派人联络诸侯王，两线出击。