汉武帝手下有个大将，名叫霍光，他是西汉中期有名的重臣。汉武帝死后，霍光遵照遗嘱，辅佐年幼的汉昭帝执政，掌握着西汉的军政大权。霍光虽然对汉皇室忠心耿耿，处理政事也很勤恳，但是，他对反对自己的人却一点儿都容不下。
汉昭帝执政的时候，燕王刘旦造反，霍光带兵把他诛杀了。在这次平乱中，被牵连的人有很多，因此朝里许多人都很害怕霍光。汉昭帝死后，霍光立昌邑王刘贺为帝，后来因为刘贺荒一婬一无道，一胡一作非为，就把他废了，并且将给刘贺出主意的二百多人全部杀害了，接着立汉武帝的曾孙刘询为帝，号称宣帝。汉宣帝知道霍光势力庞大，自己的生死存亡完全取决于他，因此心里非常惧怕。
举行即位仪式的那一天，在汉宣帝乘车前往高庙向祖宗牌位拜祭的路上，霍光牵着马，跟在他身边护驾。因为霍光的神情十分威严，汉宣帝感到非常恐惧和不安，就好像是芒刺扎在脊背上一样难以忍受。后来，只好由另一位大将军代替霍光，才勉强行完了大礼。
后来，人们用“芒刺在背”比喻人们内心害怕，非常惶恐，或用来形容人有什么心事坐立不安的样子。芒刺，指植物一茎一叶、果壳上的小刺。