1135年（绍兴五年），岳家军的规模从三万多人的规模增加到十万人左右的规模。

这是因为杨幺军的壮丁五、六万人大都编入岳家军，再加上江南西路安抚司统制祁超、统领高道等部（约八千五百多人），和此后增拨的统领丘赟所部（近一千五百人）。

荆湖南路安抚司统制任士安、郝晸、王俊、统领焦元等部（约一万多人）。

以及张浚都督府左军统制杜湛改任岳飞统辖的黄州武将知州带来的几千蔡州兵。

岳家军以后也大体维持十万左右的数量直到岳飞被女真酋长金兀术、哈迷蚩和秦桧所害。

岳家军至少有十二统制“军”：1.背嵬军；2.前军；3.右军；4.中军；5.左军；6.后军；7.游奕军；8.踏白军；9.选锋军；10.胜捷军；11.破敌军；12.水军。

其中背嵬军是绝对主力，名字学自韩世忠的同名统制军，游奕是巡回的意思，踏白是武装侦察的意思，其它军名都是增长士气的军号。

据绍兴九年（1139年）统计，这十二军共有22名统制、5名统领和252名将官分别率领，其中有正将、副将和准备将各84名。

王贵任中军统制，张宪任前军统制，这二人是岳飞的副手，岳飞不在时可代替岳飞指挥其他统制，主持岳家军全军的事务；徐庆、牛皋和董先三人最为善战，此五人是岳家军的中坚人物。

......

建炎三年（1129年），岳飞时任江淮宣抚使司右军统制，率部转战广德（今属安徽）、宜兴（今属江苏）地区 ，并于清水亭等战大败金兵，一举收复建康 ，又追击金兀术四战四胜。

绍兴三年（1133年），金扶植的伪齐刘豫政权派军攻占襄阳（今属湖北）等郡。

次年四月，岳飞自江州（今江西九江）挥师北上，大败刘豫军，收复六郡。

五年（1135年）夏，宋廷疑杨幺勾结伪齐图谋南宋，岳飞受命击破杨幺军，彻底消除内患。

六年（1136年），任湖北京西路宣抚副使 ，举兵奇袭刘豫军 ，以部分兵力东向蔡州（今河南汝南）诱其来攻，主力自襄阳出击伊阳（今河南嵩县），收复今豫西、陕南大片失地。