皇上想廢掉太子，立戚夫人生的兒子趙王如意。很多大臣進谏勸阻，都沒能改變高帝确定不移的想法。呂後很驚恐，不知該怎麼辦。有人對呂後說：“留侯善于出謀劃策，皇上信任他。”

呂後就派建成侯呂澤脅迫留侯說：“您一直是皇上的謀臣，現在皇上打算更換太子，您怎麼能墊高枕頭睡大覺呢？”

留侯說：“當初皇上多次處在危急之中，采用了我的計謀。如今天下安定，由于偏愛的原因想更換太子，這些至親骨肉之間的事，即使同我一樣的有一百多人進谏又有什麼益處。”

呂澤竭力要挾說：“一定得給我出個主意。”

留侯說：“這件事是很難用口舌來争辯的。皇上不能招緻而來的，天下有四個人。這四個人已經年老了，都認為皇上對人傲慢，所以逃避躲藏在山中，他們按照道義不肯做漢朝的臣子。但是皇上很敬重這四個人。現在您果真能不惜金玉壁帛，讓太子寫一封信，言辭要謙恭，并預備安車，再派有口才的人懇切地聘請，他們應當會來。來了以後，把他們當作貴賓，讓他們時常跟着入朝，叫皇上見到他們，那麼皇上一定會感到驚異并詢問他們。一問他們，皇上知道這四個人賢能，那麼這對太子是一種幫助。”

于是呂後讓呂澤派人攜帶太子的書信，用謙恭的言辭和豐厚的禮品，迎請這四個人。四個人來了，就住在建成侯的府第中為客。（東園公、绮裡季、夏黃公、角裡先生）

漢十一年（前196），黥布反叛，皇上患重病，打算派太子率兵前往讨伐叛軍。

這四個人互相商議說：“我們之所以來，是為了要保全太子，太子如若率兵平叛，事情就危險了。”于是勸告建成侯說：“如果太子領兵出征，有了功勞的話，他的太子地位也不會因此而有所提升；但如果沒有功勞的話，從此就會遭受禍患。太子所率領的将領們，都是曾經與漢高祖劉邦一起平定天下的猛将。如今讓太子來統率他們，這就像是讓羊去指揮狼一樣，他們肯定不會為太子賣力，因此太子出征必然會無功而返。我聽說‘母親被寵愛，孩子就常常被抱’，現在戚夫人日夜侍奉皇上，趙王如意也常被抱在皇上跟前，皇上曾說‘我絕不會讓不成器的兒子壓在有出息的兒子之上’，這表明趙王如意将取代太子的地位。您何不趕緊請呂後找機會向皇上哭訴：‘黥布是天下的猛将，很會用兵，現今的各位将領都是陛下過去的同輩，您卻讓太子統率這些人，這和讓羊指揮狼沒有兩樣，沒有人肯為太子效力，而且如讓黥布聽說這個情況，就會大張旗鼓地向西進犯。皇上雖然患病，還可以勉強地乘坐辎車，躺着統轄軍隊，衆将不敢不盡力。皇上雖然受些辛苦，為了妻兒還是要自己奮發圖強一下。’”于是呂澤立即在當夜晉見呂後，呂後找機會向皇上哭訴，說了四個人授意的那番話。皇上說：“我就想到這小子本來不能派遣他，老子自己去吧。”于是皇上親自帶兵東征，群臣留守，都送到灞上。留侯患病，自己勉強支撐起來，送到曲郵，谒見皇上說：“我本應跟從前往，但病勢沉重。楚國人馬迅猛敏捷，希望皇上不要跟楚國人鬥個高低。”留侯又趁機規勸皇上說：“讓太子做将軍，監守關中的軍隊吧。”皇上說：“子房雖然患病，也要勉強在卧床養病時輔佐太子。”這時叔孫通做太傅，留侯任少傅之職。

漢十二年（公元前195年），高祖劉邦率軍擊敗了英布的軍隊後，他的病情加重，想要更換太子。留侯張良對此表示反對，但高祖不聽，張良因此稱病不再參與政事。叔孫太傅通過引用古今的曆史事件，竭力勸說皇上不要更換太子，甚至以死相争。皇上表面上答應了他，但内心仍然想要更換太子。等到皇上安閑設宴的時候，太子在一旁侍奉。有四個人跟随太子，他們的年齡都超過了八十歲，須眉皓白，衣冠整齊。劉邦對此感到很驚訝，就問：“你們是什麼人？”四個人上前回答，各自報上了自己的姓名，他們分别是東園公、角裡先生、绮裡季和夏黃公。

劉邦說，“我尋找你們多年，你們卻一直躲避我，如今為何卻出現在我兒子身邊呢”。

四位老人說：“陛下輕慢士人，喜歡罵人，我們講求義理，不願受辱，所以惶恐地逃躲。我們私下聞知太子為人仁義孝順，謙恭有禮，喜愛士人，天下人沒有誰不伸長脖子想為太子拼死效力的。因此我們就來了。”