汉武帝晚年，大臣霍光很受信任，被封为大将军。汉武帝死后，他又辅佐年幼的汉昭帝。朝廷里的大事都由霍光决定。
汉昭帝死后，由昌邑王继位。他不干正事，霍光因此极为不满，就把他废掉了，迎立了汉宣帝。
由于霍光地位高、权力大，汉宣帝也很怕他。
一次，汉宣帝要去祭祀。霍光陪同，与宣帝同乘一辆车，宣帝非常紧张，感到如同有细小的芒刺扎在背上一样不舒服（原文是“若有芒刺在背”）。
“芒”是指谷类种子壳上的细刺，“芒刺”就是细小的刺。现在成语“芒刺在背”一般用来形容因为恐惧，或有某种心事而坐立不安的心情。
与“芒刺在背”相近似的还有成语“如坐针毡”。意思是好像坐在插了针的毯子上，用来比喻心神不安。