金兀术在给秦桧的信中明确要求：“必杀岳飞，而后和可成！”于是，岳飞成了金朝和南宋当权者共同的眼中钉、肉中刺。同时，岳飞自身的性格特点和行为方式的某些“疏漏”也加深了宋高宗等人对他的忌恨，最终招来杀身之祸。朱熹说他“恃才而不自晦”，刚强固执，不知韬晦；《宋史》说他“忠愤激烈，议论持正，不挫于人”。
当时将领几乎人人皆贪，岳飞却洁身自好，“凡有颁犒，均给军吏，秋毫不私”，还训令部属“冻死不拆屋，饿死不掳掠”，并一再声称：“敌未灭，何以家为？”昔日范增说刘邦“财物无所取，妇女无所幸，此其志不在小”，岳飞则有过之而无不及。
宋朝皇帝最忌讳文武勾结，岳飞却留意笔翰，“好贤礼士，览经史，雅歌投壶，恂恂如书生”，一副儒将派头，岂非“沽名钓誉”？
岳飞原是张俊部曲，早年“张帅”对他有举荐之恩，但岳飞却一直鄙薄张俊的人品。官阶相等后，岳飞见面只是拱手而已，并不尊他为老长官。在讲究资历出身、强调知恩图报的军界，岳飞的行为无异于离经叛道。张俊为泄私愤，最终与赵构、秦桧沆瀣一气，加入到阴谋陷害岳飞的行列。
绍兴七年（1137 年），宋高宗本已慨允岳飞指挥原属刘光世的淮西军，随后又出尔反尔，岳飞一怒之下抛开部队，上庐山为亡母守孝。高宗对岳飞撂挑子极为震怒，但因金人威胁还在，不得不好言抚慰，促其下山，但也对他发出了“犯吾法者，唯有剑耳”的警告。次年，岳飞又以防区过大为由，要求扩编，宋高宗答以“宁与减地分，不可添兵”，并再次告诫他“末大必折，尾大不掉，古人所戒”。
绍兴十一年（1141 年）正月，金兀术入侵淮西，企图以战迫和。南宋派张俊、杨沂中、刘锜率军迎敌，并命岳飞领兵东援。岳飞尚未赶到，宋军已在柘皋（今安徽巢湖东北）大败金军。张俊想独吞柘皋之战的功劳，打发刘锜还军，岂料金军又在撤退途中攻陷濠州（今安徽凤阳临淮镇），并重创前来救援的杨沂中军。岳飞闻讯驰援，金军已经安然渡淮北上。岳飞两次增援都慢了半拍，理由是他本人感冒、军队乏粮。岳家军素以“战备不懈、行军神速”著称，这样的理由岂能令人信服。史书说“飞念前此每胜，复被诏还，壮心已阑，且轧于和议，辞以乏粮。及濠梁已破，方以兵来援”。看起来，岳飞对高宗屡次阻挠他北伐已经伤心透了。
最要命的是，岳飞竟然不知避讳，对皇位继承问题妄发议论。绍兴七年（1137 年）秋，岳飞出于忠心，建议高宗立储。这年高宗三十岁，他唯一的儿子赵敷已在八年前惊悸而死，他自己也在扬州溃退时受惊，造成性功能障碍，再也无法生育。岳飞的立储建议既触痛宋高宗的难言之隐，又触犯了武将不得干预朝政的“祖宗家法”。赵构当即警告他：“卿言虽忠，然握重兵于外，此事非卿所当预也。”
以上种种，使岳飞终于难逃一死。
绍兴十一年四月，高宗、秦桧先用明升官爵、暗夺兵权的方法，将张俊、韩世忠和岳飞召到临安，任命张俊、韩世忠为枢密使，岳飞为枢密副使，把他们原先统率的淮东、淮西和京湖三宣抚司军队都划归三省、枢密院统一指挥调动。
三大将中，张俊已与高宗、秦桧同流合污；韩世忠本来也是被构陷的目标，但他看清了朝中的凶险，及时向宋高宗表明心迹，并从此醉心佛、老，“杜门谢客，绝口不言兵。时跨驴携酒，从一二奚奴，纵游西湖以自乐，平时将佐罕得见其面”。高宗念他过去勤王救驾有功，终于保全了他。
这样，目标就瞄准了岳飞，给岳飞罗织的罪名是违抗军令、指斥乘舆、密谋造反。绍兴十一年十二月二十九日，赵构亲自下旨，将岳飞赐死于临安大理寺（杭州小车桥北）狱中，其子岳云和部将张宪被斩于临安闹市（杭州众安桥）。
谁是害死岳飞的真凶？这本来不成为一个问题，但由于古人为尊者讳的传统和今人构思过度的缘故，此事一直难成定论。其实，杀岳飞者，秦桧和宋高宗是也。
朱熹说：“秦桧之罪所以上通于天，万死而不足以赎买，正以其始则唱邪谋以误国，中则挟虏势以要君，……而末流之弊，遗君后亲，至于如此之极也。”秦桧因力主和议获得宋高宗的信任，也极力要通过促成和议来巩固权位，主战的岳飞自然是他必欲除之而后快的对象。
宋高宗在靖康之难时曾在金营充当人质，早早就落下了“恐金”的病根。当金人一心要殄灭他的小朝廷时，他不得不任用武将，与金对抗。等到形势有所好转，他就急于跟金人和谈，只要承认他儿皇帝的地位，怎样屈辱的条件都可以接受，所谓“恢复中原，迎回二帝”，只不过是他驱使南宋军民为他效力的空洞口号。
同时，高宗虽然怯懦，但并不愚蠢。一旦议和成为可能，他的注意力便立刻转到整顿内部，巩固皇权。祖宗的“圣训”，言犹在耳；武将的跋扈，他也是亲身领教过的（如“苗刘兵变”）。为了削夺武将兵权，铲除一切可能对皇权构成威胁的势力，他不惜杀害岳飞，自毁长城。
宋理宗时，徐集孙有《岳鄂王墓》诗，内中有云：“班师似出高宗意，逢恶徒成秦相奸。”就连金朝人也说：“威略震主者身危，功盖天下者不赏，自古如此，非止于今。飞之威名战功暴于南北，一旦见忌，遂被叁夷之诛，可不畏哉！”
直到秦桧死时，宋高宗还不止一次地告诫文武臣僚说：对金媾和，是出于他本人的决策，不允许任何人趁秦桧之死而对此事再提异议，动摇既定国策。
王夫之曾一语道破宋高宗和秦桧之间互相利用、狼狈为奸的关系：“高宗之为计也，以解兵权而急于和；而桧之为计也，则以欲坚和议而必解诸将之兵，交相用而曲相成。”