时间一久，另外一些人便对霍光忌恨起来。以左将军上官桀和长公主为首一伙人便想方设法陷害霍光。
有一次，霍光出去检阅羽林军（保护皇帝的禁卫军），又把一个校尉调到自己府里工作。上官桀他们便抓住这个机会，派个心腹，冒充燕王刘旦的使者，假造了一封燕王的信，送进皇宫。信上说：“听说大将军霍光出去检阅羽林军，耀武扬威地坐在跟皇帝一样的马车里，又自作主张，调用校尉。这种不尊重皇上、滥用职权的人哪像个臣下？我担心他准有阴谋，对皇上不利，我要求到皇宫去保卫皇上。”
汉昭帝把这封信看了又看，最后放在了一边。
第二天早朝，大将霍光知道有人告他的状，吓得摘下帽子，趴在地下等待汉昭帝发落。旁边站着的上官桀等人却很得意，心想，这回看你霍光怎么解释。
这一年汉昭帝年仅14岁，他见霍光跪下不肯起来，便操着还未成年的童音说：“大将军请起，你尽管戴上帽子，我知道有人陷害你。”
众大臣听了都愣住了，霍光也站立起来，又是高兴又是奇怪。只见小皇帝把那封书信拿过来对众人说：“大将军检阅羽林军是在长安附近，调用校尉又是最近的事情，两件事情一共不到10天的工夫。燕王远在北方，他怎么能知道这件事呢？就算是知道，马上写信，马上派人送来，也不会赶到长安呀。再说大将军要作乱，也用不着调用一个校尉。这明明是有人陷害大将军，燕王的信分明是假的。”
一语即出，众大臣暗服汉昭帝的英明。汉昭帝又命人追查信的来源，上官桀怕露馅，就劝说道：“这是件小事，陛下不必追究了。”
打这起，汉昭帝开始怀疑上官桀了。