版本一
汉武帝时，朝中有3位有名的臣子，分别叫作汲黯、公孙弘和张汤。这3个人虽然同时在汉武帝手下为臣，但他们的情况却很不一样。
汲黯进京供职时，资历已经很深且官职也已经很高了，而当时的公孙弘和张汤两个人还只不过是个小官，职位低得很。可是由于他们为人处事恰到好处，加上政绩显著，因此，公孙弘和张汤都一步一步地被提拔起来，直到公孙弘封了侯又拜为相国，张汤也升到了御史大夫，两人官职都排在汲黯之上了。
汲黯这个人原本就业绩不及公孙弘、张汤，可他又偏偏心胸狭窄，眼看那两位过去远在自己之下的小官都已官居高位，心里很不服气，总想要找个机会跟皇帝评评这个理。
有一天散朝后，文武大臣们陆续退去，汉武帝慢步踱出宫，正朝着通往御花园的花径走去。汲黯赶紧趋步上前，对汉武帝说：“陛下，有句话想说给您听，不知是否感兴趣？”
汉武帝回过身停下，说：“不知是何事，不妨说来听听。”
汲黯说：“皇上您见过农人堆积柴草吗？他们总是把先搬来的柴草铺在底层，后搬来的反而放在上面，您不觉得那先搬来的柴草太委屈了吗？”
汉武帝有些不解地看着汲黯说：“你说这些，是什么意思呢？”
汲黯说：“你看，公孙弘、张汤那些小官，论资历论基础都在我之后，可现在他们却一个个后来居上，职位都比我高多了，皇上您提拔官吏不是正和那堆放柴草的农人一样吗？”
几句话说得汉武帝很不高兴，他觉得汲黯如此简单、片面地看问题，是不通情理的。他本想贬斥汲黯，可又想到汲黯是位老臣，便只好压住火气，什么也没说，拂袖而去。此后，汉武帝对汲黯更是置之不理，他的官职也只好原地踏步了。
后来者居上，原本是客观事物的发展规律，这就要看我们从哪个角度来看这个问题了。汲黯认为提拔人才一定要论资排辈，反对后来居上，是不可取的。
版本二
汲黯是西汉武帝时代人，以刚直正义、敢讲真话而受人尊重。因此，朝廷把他从东海太守调到朝廷当主爵都尉——一种主管地方吏任免的官职。
有一次，汉武帝说要实行儒家的仁义之政，为老百姓办好事了。没等皇帝把话说完，汲黯就说：“陛下内心里那么贪婪多欲，表面上却要装得实行仁政，这是何苦呢？”一句话把皇帝噎了回去。汉武帝登时脸色大变，宣布罢朝，满朝文武都为汲黯捏着一把汗，担心他会因此招来大祸。武帝回到宫里以后，对身边的人说，汲黯这个人也未免太粗太直了。
从此以后，汲黯的官职再也没有提升。他当主爵都尉的时候，公孙弘、张汤都还是不起眼的小官，后来，他们一个劲儿住上升，公孙弘当上了丞相，张汤做上了御史大夫，可他汲黯还蹲在原地没动窝。有一天，汲黯对武帝说，陛下使用群臣，跟码劈柴一样，是“后来者居上”啊！汉武帝当然听得出这是发牢骚。于是，转脸对臣下们说：“人真是不能不学习啊！你们听汲黯说话，越来越离谱了！”
故事出自《史记·汲郑列传》。成语“后来居上”，往往指后起的可以胜过先前的。和汲黯说这话的原意，大不相同。
汉武帝因为自己的显赫业绩，自视为千古一帝，因此做事喜欢独断，听不进其他人的建议。每次汉武帝做了什么不对的事情，大家都不敢讲，只有一个人敢向汉武帝提出劝谏，他就是汲黯。汲黯以刚直正义、敢讲真话而受人尊重，他为人和做官都不拘小节，讲求实效。虽然表面上不那么轰轰烈烈，却能把一个郡治理得井井有条。
汲黯为政，以民为本，同情民众的疾苦。有一次河内发生大火，烧了有一千多家，汉武帝就派汲黯前去视察，等他回来的时候，向汉武帝报道：“失火的事情，地方官员已经处理好了，没有什么问题了。但是，我这次途径河南的时候，发现那里的人们正在遭受旱灾，都没有粮食吃了，于是我就开仓赈济那些灾民了。”汉武帝心想赈济灾民固然是好是，但是没有得旨意就善做主张，也太没有把我这个皇帝放在眼里了吧，于是，汉武帝就把汲黯贬为荥阳令。
汲黯心中很不服气，就借病回老家去了。武帝听说后，觉得让那样的人才回家太可惜了，于是又把他召为中大夫。但他遇事好谏的性格还是没有改掉，有一次他又冒犯了汉武帝，于是汉武帝又把他外放为东海太守。汲黯出任东海太守期间信奉黄老哲学，不论是官府大事或是民间小事，都以“无为而治”的办法处理。当时汲黯身体不好，因此常常生病卧床在家。不过，汲黯“无为而治”并不是不做事，而是不做那些欺压老百姓的事，这样可以让老百姓有一个安定的生活。在处理老百姓的日常事务上，汲黯虽然经常卧床，但是他规定：百姓进衙告状，任何人不得阻拦，可直接到他病榻前当面陈述。没几年，东海在汲黯的治理下，人们生活安定，社会发展很快。汉武帝听了后，就又把他召回京城为主爵都尉，列于九卿。
对朝廷权贵，汲黯素来不加趋奉，威武不屈，刚直不阿。当时的大将军卫青，他的妹妹是当朝的皇后，人们见了都很敬畏他。但是，汲黯见他的时候只是轻轻地做一个揖而不是拜。有人对他说：“自天子下尊贵莫过大将军，你为何见而不拜？”汲黯说：大将军是很尊贵，如果有很多人对他只是作揖而不是拜，就说明他能礼贤下士，这样反而能提高他的名声。卫青听了后，对他更加尊重了。
当时汉武帝罢黜百家，独尊儒术，表面上好像对儒家尊崇备至，但所作所为却往往与儒家之“仁”道背道而驰。从此以后，汲黯的官职再也没有提升。
当时汲黯有两个年轻的同事，一个叫张汤，另外一个叫公孙弘。这两个人不但奸诈，每次汉武帝做了错事都不会纠正，还讲好听的话让汉武帝高兴，汲黯非常瞧不起他们两个人！
可是他们会讨好汉武帝，汲黯看到这些靠拍马屁的人，竟然官位比自己还高，心里非常的不服气。
有一天，汲黯对武帝说，陛下使用群臣，跟堆劈柴一样，是“后来者居上”啊！意思是皇上用人，就好像在堆柴一样，把后拿来的柴都放在上面，不用管哪一个柴比较好。
后来，大家就用汲黯讽刺汉武帝的话，把它变成“后来居上”这一句成语，用来形容新来的人，反而得到优良的成绩或较高的地位！