南宋紹興十一年十二月二十九日（1142年1月27日），是岳飛被處死的日子，而岳家軍隨著岳飛的逝去逐漸的敗落。
靖康(1127)變法後，陝西人姚越出逃關中，在南宋時成為士兵。岳飛遇到姚岳後，岳飛覺得姚岳的父親姓姚，母親姓姚，就把姚岳留在軍隊當顧問，非常疼愛他。但在岳飛死後，姚悅交給秦檜一封投誠信，說要和岳飛一刀兩斷。因此，他建議南宋改成悅州的名字。在姚悅的反覆書信下，宋高宗甚至下達詔書，將岳州改為春州，將岳陽軍改名為華容軍。姚悅在仕途上的興旺是在他和岳飛劃清界線之後才開始的。在宋曉宗當政之前，淮南路發生了一場蝗災。無法控制蝗蟲的姚越甚至無恥地寫道:「蝗蟲被朝廷的威嚴嚇住了，和草木一起死了。」但是由於他不能控制蝗蟲和荒謬的言論，姚悅最終被降職了。
但是背叛岳飛的卻不只是他一人。
身為岳飛的高級將領之一，前岳家軍副司令王軍也是殺害岳飛的幫兇之一。在宋代的皇帝高宗指示秦檜組織不公正的監獄時,也許為了迎合上面的意圖尋求晉升,王軍在岳飛被拘留後立刻跳了出來,污衊岳飛和岳雲準備造反。但是組織這個不公監獄的人，也許就是皇帝的意思。岳飛的部屬王貴、姚正、龐榮、傅軒等也在王軍的誣告書上簽字。他們污衊岳飛的部隊在開封，被召回十二枚金牌事實誣衊岳飛是個重兵。他們誣衊岳飛要讓張憲保衛襄陽，伺機造反。在最高權力的敬畏下，岳家君的內部分裂:此後，岳飛的忠實部下牛高暴死，有人說他是被毒死的;王貴完成幫辦後，被調任軍職，並被授予侍衛和步兵副司令的虛擬軍銜，離開軍隊。
為了擊潰岳家軍，宋高宗命令他的參謀孫歌、黃宗、於鵬等人被指派和組織起來。此後，精銳的岳家軍要不是被收編為禁軍，就是被裁減、撤退、合併。最終，南宋初期晉人所畏懼的岳家軍被宋高宗打敗，逐漸消失不見。張軍是南宋中興四大將(岳飛、韓世忠、劉凱、張軍)之一，對高宗皇帝想要剝奪所有大將的軍事權力十分敏感。他首先寫了一封信要求軍事權力。然後，當張軍看到高宗和秦檜打算處死岳飛時，他積極聽從最高的指示，跟著秦檜做偽證，誣告岳飛有陰謀，最後迫使岳飛被處死。在張軍看來，在兩宋崇尚文化、打壓武術的風氣下，身為一群將軍長，他們只能從保護自己。北宋著名將領狄卿之死，是歷任將領心中的救生課。然而，張軍從用智慧保護自己到進一步支持暴政，最終以其可恥的行為贏得了宋高宗的信任。
但是軍隊中還是有向岳飛的人，比如韓世忠，雖然也是明哲保身，但是卻也算是為岳飛說過話，避免被猜忌就閒賦在家，也不失是一個辦法。