紧接着，淳于衍给许皇后开药的时候，捣了一剂附子。附子有毒，古代用作治疗重症的救命药。许皇后喝下这一剂药，顷刻之间头昏眼花，周身发麻，继而呼吸困难，手足抽搐，没多久就死了。

皇后死得蹊跷，有大臣上书弹劾，所有为皇后治病的太医一律收押。霍氏急了，担心淳于衍受不了刑讯逼供，供出自己，只好求助霍光。霍光一听大怒，斥责霍氏胆大妄为，想检举揭发霍氏，但毕竟是自己妻子，于心不忍，于是开脱了淳于衍。

汉宣帝面对霍光对自己妻子之死的态度变化自然心生疑虑，肯定会怀疑皇后的死因与霍家有关，但是霍光权位很高，又能废掉皇帝，所以才搁置了此事（估计就以许平君染病结案）。

案子了结了以后，霍显决定把女儿送进宫中，霍光也不再阻止，毕竟也想通过和皇上联姻的方式（但必须要受宠且生下皇子）保住霍家的性命。成君送进宫后，宣帝立即明白了霍家的意思和想法，于是故意装作很爱她，第二年还封其为皇后。这样霍显反而很得意，忘了当初差点掉脑袋的恐惧了。

霍成君顺利地当上了皇后。

三年后，霍光去世。对这位功高盖主的权臣，汉宣帝非常畏惧，霍光陪同一起出游的时候，汉宣帝常常有如芒刺在背。霍光既死，汉宣帝终于长长地出了一口气，紧接着立许皇后生的儿子刘奭为太子。听到这一消息，霍氏气得吃不下饭，气得呕血，对女儿说道：“刘奭是刘询还没有当上皇帝时生的儿子，是民间之子，身份低贱，怎么能立他为太子？如果你生了儿子，反而只能做一个王了！”（话说霍成君她父母又不是亲戚，按理来说生育能力应该不错，和皇上恩爱了多年却没有孩子，而当时其她嫔妃却生了很多儿子，从这里可以充分看出宣帝必定对她做出防备，使其无法怀孕了）命女儿伺机给太子下毒。霍成君数次请太子来吃饭，但太子的保姆非常警觉，饭前必亲自先尝，因此毒药揣在怀里，总是没有机会下手（但事实上从史书的记载来看霍成君是不可能下毒杀害太子的，因为一来霍杀人太过于明目张胆，二来霍不提前下毒要等太子来吃饭以后有太子下人在场才下毒分明不可能成功）。霍光虽死，朝廷所有的要害部门仍然掌控在霍氏家族手中。霍光的儿子霍禹和侄孙霍山、霍云都身居要职，却没有一点儿危机意识，成天吃喝玩乐，上朝的时候，三人经常还在山里打猎，居然派家奴上朝谒见。如此僭越礼制的行径，群臣却都不敢谴责。

霍氏更过分。本来老公死了，你就应该收敛一点儿，可她仗着女儿是皇后的份儿，更加张扬奢侈。非但如此，霍氏还耐不住寡居的寂寞，勾搭上了家奴冯子都。众人开始纷纷上奏弹劾霍家，汉宣帝慢慢开始削夺霍氏家族的权柄。刚好这时霍氏收买淳于衍毒死许皇后的事也传了出来（当时霍家兵权已上交，正是汉宣帝想要制裁他们的时刻，所以这个消息更有可能是汉宣帝故意传出去的，就是为了等待霍家谋反或者重查此案，无论哪一种霍家都会被灭族）。果然霍氏不由得张皇失措，和霍禹、霍山、霍云密谋，准备发兵废皇帝而立霍禹。不料密谋败露（霍家当时早已落入宣帝的监视中了），于是霍氏一网打尽，霍山、霍云自杀，霍禹腰斩，霍氏和诸女在闹市执行死刑后暴尸街头，连坐诛灭者数千家之多（好在上官太后的母亲死的早）。不知道当时的霍成君此时的心情会是什么样的。

接着汉宣帝又以霍成君毒害太子为由将其废掉，毕竟要废皇后还是要找个明确的罪证才行，（此时恰好有了霍成君毒害太子一事，估计是后宫妃嫔或者朝臣买通霍家下人一起干的）再加上汉宣帝的当时对霍家的痛恨肯定宁信为真，霍成君刚刚立为皇后五年就被废，12年后汉宣帝又要将她贬至更为偏僻的云林馆，霍成君终于不肯忍受这种屈辱而自杀。

其实一开始霍氏有些奢侈的时候，徐福就上奏皇上不要让他们继续放纵下去，这样会让他们走入毁灭，一共上书三次，皇帝都不予理睬，霍氏被灭门后，告发者都受到了重重的赏赐，唯独徐福一开始没有赏赐，后来有人替徐福说话，皇帝才给了他很少的封赏。可以看出霍氏被灭门也不仅仅是他们自己的问题，皇帝早就想除掉他们，故意放纵他们，当他们引来众人不满时还逼迫他们造反，可见政治的阴暗，同样告诫我们千万不要功高盖主。