太平军从上游渡过了黄河。

陈济云和陈济方兄弟虽然并未引商团主力前去拦截，但却担心太平军为了报复前来寻战。因此做好了迎战的准备。

谁料过河后的太平军，竟然没有理会商团，就马不停蹄的继续北上了。由此可见其北援的急切心情。

陈家兄弟就此商议，认为如果这样放任这支太平军不管，恐遭朝廷严斥，无奈只得进行尾随追击。

但在行动前，他们仍然将第三团分出，由陈经山带领返回宿迁营地。负责继续防备皖北的太平军，并保持在苏北存在的实力。

而云、方两兄弟，则率领以第四团为主的近四千商团北军，继续向北追击。

这路北援的太平军，主将为曾立昌。他们连续疾进后，于三月初，到达山东的临清州。

虽然这里已经临近直隶，但连日的行军、作战，令他们疲惫不堪，需要休息。于是便停了下来，准备攻下临清城，以获取补给。

太平军开始攻城后的第二日，陈家兄弟率领的商团北军就赶到了战场，成为清军方面最先到达的一支队伍。

随后各路清军、乡勇陆续汇集过来。其中最大的一股，是由钦差大臣胜保统领的八千清军。

胜保，字克斋，满洲镶白旗人，苏完瓜尔佳氏，生于道光元年。清军设立江北大营时，胜保所部便是其中的重要一支。

后来，随着太平天国北伐军北上中原，胜保也奉旨率部从江北分出，一路追堵北伐军。朝廷授他钦差大臣，节制各路清军，成为一路主将。

胜保为人十分狂妄跋扈，他的部队也因军纪很差，以至于臭名远扬。而他本人根本没将汉人的地方乡团放在眼中，这当然也包含着商团，故而并未安排重任。

不过这也正好遂了陈家兄弟的意，作为一支客军，本来他们就只想着保存实力。现在正好，只要守好自己的本分便好了。

尽管清军内部混乱、涣散，但还是实力占优。在这种情况下，曾立昌的这支太平军，经过近一个月的苦战，最终还是被打散、南逃。其中大多数，又在清军的追击下被歼灭。

太平天国对北伐军的救援，也就此失败了。这样一来，李开芳率领的北伐军彻底沦为了孤军。

就在曾立昌部太平军溃败之时，四月初，尚不知情的北伐军突出了困守两个月的阜城。逃至大运河边的连镇，在那里布防，以图固守待援。

一个月后，为求能联络上援军，北伐军又进行了分兵。由李开芳亲率两千骑兵，向南突至山东境内的高唐。连镇的北伐军则交由林凤祥来统领。