雖然是劉邦最信任的人 但他不想成為​韓信​第二 毅然離開廟堂

張良素來體弱多病，自從漢高祖入都關中，天下初定，他便托辭多病，閉門不出。隨著劉邦皇位的漸次穩固，張良逐步從“帝者師”退居“帝者賓”的地位，遵循著可有可無、時進時止的處事原則。在漢初劉邦翦滅異姓王的殘酷鬥爭中，張良極少參與謀劃。在西漢皇室的明爭暗鬥中，張良也恪守“疏不間親”的遺訓。

漢十年公元前197年)，漢王朝上層出現瞭一場新的危機。劉邦有改易太子之意。當時劉邦寵愛戚夫人，並察知呂後有異心，有代劉而王的跡象，故欲廢太子孝惠呂後子)，改立趙王如意戚夫人子)為國儲。朝野大臣，群起諫爭，但絲毫不能更改劉邦初意。眼看太子位行將被剝奪，呂後遂求救於“智囊”張良。

張良考慮到太子一位，事關重要，不可輕易更立，大儒叔孫通說得好：“太子天下本，本一搖天下振動。”再加上當時天下方定，漢朝統治根基還未穩固，各項制度還正在健全，隻有順其現狀，無為而治，才能安定天下，穩保江山。