绍兴七年（1137年）八月，权湖北、京西宣抚判官张宗元从岳飞大军中回来后，建议朝廷把尚书户部员外郎霍蠡转升一官。霍蠡原来在鄂州，主要负责岳飞军队的钱粮，张宗元上奏说他“奉公守正”，建议朝廷提拔奖赏他。
以前，岳飞多次说他们军中粮食短缺，朝廷就让霍蠡去按视查看。这时霍蠡上奏说：“岳飞军中每年统制、统领、将官、使臣三百五十馀员，多请超过银钱十四万馀缗；军兵八千馀人，多请超过一千三百馀缗，总计一十五万馀缗。”
于是右正言李谊上奏说：“霍蠡的职责在于出纳，按理应当追究他们的过失。然而考虑他们检点过于苛细，若行改正之后，却应当合支券钱六万馀贯，才节省九万缗而已。希望诏令他们依旧勘支，务存大体，以满足陛下优恤将士的意思。”
由于岳飞军中有许多义兵，他们属于临时战士，亦农亦兵，因此按照朝廷标准拨付的经费根本不够。岳飞军中经常显得粮食经费缺乏。但是，这也为以后一些攻击他的文武大臣留下了口实。
然而，身处朝廷的秦桧并没有闲着。他正在处心积虑到处游说，一步步迈向权力顶峰。最开始时，张浚、赵鼎关系十分良好，张浚起先升官发达后，就极力援引赵鼎。他们曾经一起共论人才，张浚强烈认为秦桧能谋善断，忠诚老实，是个不可多得的宰相之才。赵鼎说：“此人如果得志，我们这些人就没有立足之地了！”张浚不以为然，因此继续向皇上推荐秦桧。可是秦桧来到朝廷后，共事了一段时间，张浚才发现秦桧口蜜腹剑、阴谋老辣，于是不再向皇上推荐他。
张浚作为朝廷执宰，对官场风云了如指掌。他看到秦桧不断进击，他自己也就趁机向皇上推荐显谟阁待制、知荆南府王庶为徽猷阁直学士。这一天，宋帝赵构说：“王庶曾经对朕说：‘现今天下不专用姑息，要当以诛杀为先。’说朕太过仁慈。朕听闻仁宗皇帝曾经说过：‘宁失之太慈，不可失之太察。’此是祖宗的明训。而今百姓犯罪，自有常法，何必以诛杀为先呢？”
张浚看到宋帝赵构对于王庶不是很满意，自己拍马屁拍到马蹄子上了，非常担心皇帝认为自己和王庶是朋党，于是顺着皇帝的意思说道：“圣人有三宝，一曰慈，未听闻以慈为戒的说法。王庶学识浅陋，不知大体。”但是在秦桧的唆使下，皇帝对他仍然不满意。
于是张浚就准备辞职离开朝廷。宋帝赵构问谁可以替代他，张浚不说话。
宋帝赵构说：“秦桧怎么样呢？”
张浚说：“最近我与他共事，才开始知道他的阴险、阴闇。臣感觉他包藏顾望，心怀两端，奸诈欺妄，很不老实。”
宋帝赵构说：“那么就用赵鼎吗？”
张浚认为非常好。皇帝于是让张浚拟批召赵鼎。
秦桧认为他并没有直接得罪张浚，认为他的小恩小惠张浚也一定记得，因此认为张浚一定会推荐自己，就一直等候在都堂。后来宋帝赵构派遣人催促张浚所拟赵鼎使用的文字，秦桧才尴尬错愕地退出去了。
第二天，皇帝下手诏说：“观文殿大学士、两浙东路安抚制置大使兼知绍兴府赵鼎充万寿观使兼侍读，疾速赶赴朝廷。”
秦桧看到张浚在朝廷势力庞大，又没有向皇上推荐自己，十分气愤，就阴谋窜同台谏交章弹劾奏论张浚，请求皇上把张浚安置于岭表。
赵鼎很是感激张浚能向皇上推荐他。看到这种情况，赵鼎也邀约同事大臣们一起帮忙解救张浚。赵鼎作为宰相，就带领张守与一众大臣当面奏请，各个大臣都写了数千百言奏章，只有秦桧一个人不说一句话、没有写一个字。
以前宋帝赵构受到秦桧的蛊惑，就给赵鼎说：“张浚贻误了朕许多事情，尤其是导致郦琼叛变投降刘豫，因此应当远窜发配。”
赵鼎说：“张浚母亲已经老了，而且他有勤王大功。”
宋帝赵构说：“关于勤王的功劳，我已经奖赏他担任过宰相了，但是功过自不相掩。”
赵鼎又说：“张浚的罪责不过是失策罢了。凡人计谋准备去实施之际，怎么能不思虑，怎么能要保其万全的办法呢！傥若因为一次失误，便将他人置之死地，以后虽有奇谋妙算，谁敢献给朝廷呢！这个事情利害自关朝廷，并非独自是关于张浚一个人啊。”宋帝赵构也就不再说什么了。
赵鼎看到皇帝态度似乎缓和了，于是又说：“明年春天就要定下去留之计，希望圣上认真考虑，恐怕回跸临安之后，中外人士都说朝廷无意恢复。”宋帝赵构说：“张浚措置川陕三年，竭尽民力，耗费国用，何尝得到尺寸之地，而坏事有了许多。此等议论，朕也不在乎了。”
这样，特进、守尚书右仆射、同中书门下平章事兼枢密使、都督诸路军马、临修国史张浚被罢职，为观文殿大学士、提举江州太平观。
张浚这时心灰意冷，就想歇息一下，于是写下了这首《过严子陵钓台二首其一》：
小主，
古木笼烟半锁空，高台隐隐翠微中。
身安不羡三公贵，宁与渔樵卒岁同。
严光，字子陵，是东汉着名的隐士。刘秀即位后，多次延聘严光，但他隐姓埋名，退居富春山。这时张浚以严光自拟，就有了隐居的想法。
秦桧最擅长的事情就是察言观色、见风使舵。赵鼎现在是首府宰相，因此秦桧在枢府只听赵鼎一个人的话。赵鼎以前非常厌恶秦桧，现在在秦桧的甜言蜜语、糖衣炮弹和物质贿赂下，反而深深信任他了。
赵鼎最初才担任宰相时，宋帝赵构给他说：“卿既然回到相位了，现在的所有执政，去留惟卿选择。”
赵鼎说：“只有秦桧不可离开。”