为了进一步打击李纲在朝廷的威信，汪伯彦、黄潜善又指使其他人阻止李纲的各项政策落实情况。

李纲推荐的张所上奏朝廷，要求在北京大名府设置招抚司，等待把府治事务安排好以后再向北渡河。北京大名府留守张益谦，是黄潜善的党徒，他就上奏说如果在此设立招抚司扰民，盗贼就会越来越多。李纲说：“张所现在尚留在京师，张益谦怎么就知道张所的招抚司扰民呢？河北民众没有政府领导，就会聚而为盗，怎么会是因为设置招抚司就有盗贼呢？”朝廷根本不理会这些。

这时傅亮的军队整合起来才十来天，汪伯彦等人以为傅亮逗留不进，就以朝廷的名义命令留守宗泽节制李纲推荐的大臣傅亮，而且要求傅亮现在必须渡河。傅亮说：“现在黄河以外都属于金人占领范围，而突然使我以乌合之众渡河，不知何地可为家计，何处可以得粮？现在东西都还没有措置到位，就仓促渡河，恐怕要误了国家大事。”

李纲为傅亮辩护请求宽限几天，黄潜善等人不以为然。

李纲说：“招抚、经制，都是微臣所建明，而张所、傅亮，又是微臣所荐用。而今黄潜善、汪伯彦等人之所以打击他们，就是打击微臣，使臣不得安职。臣每次想到靖康时期大臣不和的教训，把每件事情都和黄潜善、汪伯彦商议而后施行。而现在他们两人用心如此，愿陛下虚心观察一下。”但是皇帝不听他解释，就解散了经制司，下诏书召傅亮赶赴朝廷。

李纲又说：“圣意必欲罢傅亮，就请以御笔把这件事交给黄潜善让他去施行，臣得乞身回归田里。”李纲退朝后，而傅亮就被罢免了，李纲就再次上疏求去。

皇上说：“卿所争的都是些细小事情，怎么就这样子呢？像傅亮这样的小人物，今天还不好找吗？”

李纲说：“人主之职在论相，宰相之职在荐贤。方今人才以将帅为急，恐怕这不是细小事情。傅亮谋略知勇，可为大将，今天还没有使用他，却突然罢免了他，古人用将，恐怕不会如此。方今人材以将帅为急，恐非小事。臣昨天商议迁幸之事，与黄潜善、汪伯彦有争议，他们现在为难臣，臣都接受了。然而臣为东南人，难道不愿陛下东下为更好吗？臣只是想着这次一旦离开中原，后患就会无穷了。愿陛下以宗社为心，以生灵为意，以二圣未还为念，不要以臣离去而改定议策。臣虽离去左右了，不敢一日忘陛下。”说完，哭泣着辞退了。

高忠义看见李纲受着如此大的委屈，就对李纲说：“相公已经仁至义尽了，把该说的话、该做的事已经做了，与忠、与义都尽心尽力了。现在虽然决定辞职退还，可是那些进谗言的人如果伤害你，怎么办呢？”

李纲说：“吾只知道尽心事君之道，如果得不到圣上认可，则保全进退之节，患祸不是我所担心的。”

在建炎元年（1127年）十月，宋帝赵构带领宗室、权贵和宫廷人马前往扬州居住。

此时，已经提拔为殿中侍御使的张浚看到第一次距离皇上这么近，得到了皇帝的赏识，又有宰相的资助，野心马上膨胀起来。

张浚也趁机弹劾李纲说：“李纲虽负才气，大有时望，群众基础好，有影响力。但是他以私意杀掉侍从宋齐愚，典刑不当，不可居于相位；李纲还有杜绝言路，独擅朝政，事之大小，随意必行，买马之扰，招军之暴，劝纳之虐，优立赏格，公吏为奸，擅易诏令，窃庇姻亲等十多件事，需要弹劾”。

宋帝赵构就让朱胜非起草诏书。朱胜非本来比较公正，但是黄潜善授意必须写严重一些。于是诏书斥责李纲说：“狂诞刚愎，谋谟弗效，既请括郡县之私马，又将竭东南之民财。以喜怒自分其贤愚，致赏罚弗当于功罪。出令允符于清议，屡抗执以邀留；用刑有拂于群情，必力祈于亲札，以至帖改已画之旨，巧蔽外姻之奸。兹遣防秋，实为渡河之扰，预颁告命，厚赐缗钱，赏逾百万之多，仅达京师而止，每敦促其速进，辄沮抑而不行，设心谓河，专制若此！”