劉備為何不招降張遼

三國武將中，與關羽關系比較好的魏國名將，就是張遼和徐晃。尤其是張遼，和關羽還有淵源。當呂佈白門樓被絞死的時候，張遼曾經大罵曹操，曹操要殺張遼，玄德攀住臂膊，雲長跪於面前。玄德曰，“此等赤心之人，正當留用。”雲長曰：“關某素知文遠忠義之士，願以性命保之。”操擲劍笑曰：“我亦知文遠忠義，故戲之耳。”乃親釋其縛，解衣衣之，延之上坐，遼感其意，遂降。後來我們知道，張遼對曹操貢獻很大，尤其是威震逍遙津，以七千之眾大破十萬大軍，差點活捉孫權，經此一役，張遼威震江東，聲名大噪。

那麼劉備既然知道張遼是一個有忠義的人物，而且武藝高強，有勇有謀，為何不自己留著用。也就是劉備為何不留著自己用？