即位后的刘贺，仿佛一只挣脱牢笼的小鸟，更加肆无忌惮地放纵自己。他整日沉迷于玩乐，将朝政抛诸脑后。汉昭帝的灵柩还停放在前殿，他便迫不及待地让艺人入宫，歌舞行乐，丝毫没有将先帝的丧事放在心上。他乘坐着天子车驾，在北宫、桂宫肆意驰骋，观赏野猪、斗老虎，玩得不亦乐乎。他甚至擅自调用皇太后的乘车，让奴婢骑乘，完全无视宫廷的规矩和礼仪。在后宫中，他也行为不检，与昭帝的宫女淫乱，种种行为令人不齿。
刘贺不仅生活荒唐，在政治上也表现得极为幼稚和短视。他急于掌握权力，一上位便大肆提拔自己从昌邑带来的旧臣，短短时间内，就安排了大量亲信进入朝廷各个要害部门，试图将朝政大权牢牢地掌握在自己手中。这些昌邑旧臣大多能力平庸，且只知迎合刘贺，根本无法承担起治理国家的重任。他们的种种行为，严重扰乱了朝廷的正常秩序，也引起了霍光等先帝老臣的强烈不满。
霍光看着刘贺的所作所为，心中既愤怒又忧虑。他深知，若任由刘贺这样胡闹下去，大汉江山必将陷入危机。霍光的亲信田延年看出了他的心思，私下里向他建议道：“将军，如今新帝如此昏庸无道，恐怕会危及社稷。我们不能坐视不管，应当另选贤明之人，以保我大汉江山的安稳。”霍光沉思良久，心中也有了决断。他明白，要想挽救局势，必须采取果断措施。
于是，霍光开始暗中与车骑将军张安世谋划，商议如何废黜刘贺。他们深知此事关系重大，必须谨慎行事，稍有不慎，便可能引发朝堂动荡。为了确保万无一失，霍光又派田延年前往丞相杨敞府中，向他说明情况。杨敞初闻此事，惊恐万分，一时竟不知如何作答。好在他的夫人深明大义，在一旁提醒他要支持霍光的决定。杨敞这才回过神来，表示愿意听从大将军的号令。
一切准备就绪后，霍光在未央宫召集丞相、御史、将军等朝中大臣，商议废黜刘贺之事。众人听到霍光的提议，皆惊愕失色，面面相觑，一时无人敢发言。这时，田延年挺身而出，离席按剑，大声说道：“先帝将幼主托付给将军，是因为将军忠诚贤能，能保大汉江山的太平。如今新帝荒淫无道，若不及时废黜，恐将危及社稷，诸位难道要坐视大汉江山毁于一旦吗？今日之事，必须当机立断，有敢反对者，军法处置！”众人见田延年态度坚决，又想到刘贺的种种恶行，心中权衡利弊，最终纷纷表示听从大将军的号令。
六月癸巳日（公元前74年8月14日），霍光与群臣一同晋见上官太后，联名奏劾刘贺。他们向太后详细陈述了刘贺征召以来的荒淫昏乱行为，指出他废弃帝王礼仪，败坏大汉制度，如此行径，实在不配为帝。上官太后听后，大怒，当即诏命刘贺进宫。
刘贺接到诏书，心中虽有些不安，但仍未意识到事情的严重性。他大摇大摆地走进宫殿，却发现气氛异常凝重。霍光与群臣早已等候在此，神色严肃。还没等他反应过来，霍光便上前一步，高声宣读奏疏，历数他的罪行。刘贺这才如梦初醒，想要辩解，却被霍光严厉地打断。霍光随即上前，解下刘贺身上佩戴的玉玺绶带，交予太后，并命人将刘贺挟持下殿，送出皇宫。
刘贺被废后，回到了故地昌邑（今山东巨野）。他的昌邑王爵位被废除，昌邑王国也被撤销，改为山阳郡。曾经高高在上的皇帝，如今一夜之间沦为庶民，巨大的落差让刘贺陷入了深深的痛苦与迷茫之中。他常常独自一人坐在庭院中，回忆着过去的种种，心中懊悔不已，却又无力改变现状。
在山阳郡的日子里，刘贺形同囚禁，生活十分压抑。他身边有十六位妻子，十一个儿子，十一个女儿，宫中有奴婢一百八十三人。平时宫门紧闭，只开小门，一名官吏负责为宫中采买生活必需品，一名官吏负责防盗、巡查，用故王的钱雇佣士卒，负责宫中警卫。他肤色青黑，小眼睛，鼻子塌陷，胡须少，身材高大，还患有痿疾，行动不便。他穿着短衣大裤，戴着惠文冠，佩戴玉环，头上簪笔，手拿简牍，看起来如同白痴一般，昔日的风采早已荡然无存。
公元前74年七月，霍光尊立武帝曾孙刘询（汉宣帝）即位。汉宣帝即位后，对刘贺仍心存忌惮，时刻关注着他的一举一动。公元前64年，山阳郡太守张敞将刘贺在山阳郡的情况，逐条向朝廷汇报，称刘贺天性暴虐，看不到仁义，如同白痴，不足为惧。宣帝得知后，心中的担忧才稍稍减轻。
公元前63年三月，汉宣帝下诏封原昌邑王刘贺为海昏侯，享四千户食邑。刘贺接到诏书后，心中五味杂陈。他明白，这是宣帝对他的一种安抚，但同时也意味着他将永远失去皇位，只能在海昏县度过余生。尽管心中有诸多不甘，但他也别无选择，只能前往豫章郡海昏县就国（今江西南昌）。
在海昏县，刘贺本可以安安稳稳地度过余生，然而，他却没能控制住自己的言行。几年后，他与原豫章郡太守的属下孙万世闲聊时，一时口快，妄言后悔当初被废，还说如果当时有所准备，或许就能保住皇位。这番话很快就被人告发，汉宣帝得知后，十分恼怒，当即诏令削去刘贺三千户食邑。
经此打击，刘贺一蹶不振，身体和精神状态都急剧恶化。他整日郁郁寡欢，沉浸在痛苦和悔恨之中无法自拔。公元前59年，刘贺终于在悲愤与绝望中去世，年仅34岁。他的一生，如同一场荒诞的闹剧，从尊贵的昌邑王到短暂的皇帝，再到庶民、海昏侯，最终在落寞中离世，充满了戏剧性与悲剧色彩。
刘贺去世后，他的儿子刘充国、刘奉亲也相继死去。豫章郡太守寥上奏称这是天意，要断绝刘贺的爵位继承人，汉宣帝遂撤销了封邑。直到元帝继位，公元前46年，才再次封刘贺的儿子刘代宗为海昏侯，是为海昏厘侯。此后，刘代宗传位给儿子海昏原侯刘保世，刘保世又传位给儿子刘会邑。至东汉光武年间（公元25-57年），刘贺的后代子孙仍然是列侯。