刘邦的大军打到了秦的都城咸阳城下。秦王子婴出城投降。刘邦进了咸阳便想住进皇宫。谋臣张良和大将樊哙劝告他说，贪图享受会失去民心，导致失败。刘邦接受了他们的劝告，就把宫廷里的珍宝财物都贴上封条，派人保管。自己带领部队退出了咸阳，驻扎在离城几十里的霸上。然后，刘邦把附近有名望的人都请来；对他们说：“这些年来，老百姓被秦朝的刑罚害苦了。人们只要聚在一起说句对秦朝不满的话，就要杀头；议论国事就要灭族，实在是太残暴了！现在我给大家约定三条法纪：一是杀人的必须偿命；二是无故伤害人的必须判罪，三是偷盗财物的要受惩罚（原文是‘与父老约，法三章耳：杀人者死，伤人及盗抵罪’）。”刘邦这三条法纪，简单明白，合情合理，大家一致拥护。有了这三条，混乱的咸阳城很快就安定下来了。
成语“约法三章”就是由刘邦说的“与父老约，法三章耳”简化而成。“约”是约定；“法”是法律；“三章”就是三条。现在用时“三章”已不是实数，而是拿这个成语作比喻，指订立几条简单明白的条款来共同遵守。