講起嶽傢軍的起源,是因南宋時起義軍蜂擁而起,有很多都投靠瞭嶽飛。在這其中人員比較復雜,包括最早抗擊金寇時招募的士兵,也包括瞭一些農民起義軍。
嶽飛雖然在朝廷級別位置並不是最高的,但在民間很有影響力,這也是嶽飛的名字與故事得以流傳這麼久的原因。這些投靠在嶽飛營下的將士便自稱嶽傢軍,也得到瞭百姓的認可。