后来，皇上微服出行，过阿阳公主家，非常喜欢她家的歌舞女赵飞燕，召入宫中，大为宠幸。赵飞燕妹妹赵合德，也召进宫中。赵合德的姿色性情，浓艳精粹(原文是“姿性尤醲粹”，醲，是味道浓烈的酒，古同“浓”，粹，是精粹无瑕，可以想象她有多美)，左右见了，都啧啧赞叹。有一位宣帝时期就在宫中做披香(后宫披香殿)博士的女官淖方成，在皇上身后唾骂说：“这是祸水，一定会把火(汉朝的图腾是火)扑灭!”赵氏姐妹都为婕妤，贵倾后宫。许皇后、班婕妤都失宠。于是赵飞燕诬告许皇后、班婕妤，说她们行巫蛊，用妖术诅咒后宫嫔妃，甚至还骂皇上。
冬，十一月十六日，许皇后被废，移居上林苑昭台宫，皇后的姐姐许谒等被诛杀，亲属遣返故乡。又审讯班婕妤，班婕妤说：“臣听说‘死生有命，富贵在天’。修养正道的人，尚且不能得到福报，那邪恶纵欲的又能指望什么呢？如果鬼神有知，就不会接受这种犯上作乱的巫蛊，如果鬼神无知，巫术又有什么用呢？所以我不会做这种事。”皇上很赞赏她的回答，赦免她，赐给黄金一百斤。赵氏姐妹骄纵妒嫉，班婕妤担心时间长了还是要被陷害，于是请求到长信宫奉养太后。皇上批准。