张煌言正说着时，屋外忽传来争执的声音，亲兵来报：“有个百姓在外面吵着要见尚书，我们说您正在会商，他却一定要见。”
“让他进来吧，许是有什么事。”
张煌言摆手让亲兵将人带进来，进来的是一个看似商人的百姓，那人看到张煌言，忙上前行了礼，然后说道：“张尚书，小人是做粮食买卖的，久仰尚书大名，所以听到一些消息，觉得对尚书大人不利，便赶了两天的路，想着一定要把消息告诉尚书大人。”
张煌言忙问：“噢，什么消息？”
那商人道：“太平府易帜降清了！”
张煌言一惊，急问：“那太平周近等地的状况如何？”
商人摇头道：“这个小人不太清楚，但是听说原先归降大明的地方好多都转头降清了。”
张煌言听后沉默片刻，叹了口气：“此事本可预料，只是来得快了些。”
那商人想起一事，又道：“另外小人还听说鞑子有千艘兵船已过安庆，说是什么鞑子亲王往去南京增援的。”
参军徐允耕急道：“鞑子兵船会停泊在池州吗？”
商人道：“平时失船许是会在池州休息，但现在这么乱，或许不一定会在池州停船。”
徐允耕又问了商人一些池州和安庆的情况，谢过此人后命亲兵将他带下。
张煌言问诸将：“池州是我们到江西的要地，现在清兵接近，该不该驰援？”
诸将却谁也没有开口，有的忧心、有的忐忑、有的不怕，但却没有办法可想，只能沉默以对。
“形势已很清楚，咱们并无退路，也许郑王爷在崇明停留几天，将重振声威，到时候我们再顺流而下，前后呼应！”郭法广见军心有些动摇，便为大伙提气。
张煌言和徐允耕商议了一会，也没什么好主意，便要诸将马上启航向池州，等到了那里再作下一步决定。
张煌言的船队先抵达铜陵，途中遭遇一小队驶向南京的清兵，双方发生战斗，清军船少，不敌张煌言的炮火，被击沉四艘。不过由于张部一万多人分乘各式大小不同船只，又是逆流上行，使得前后船只相距十数里，所以前方发生战斗，后队很多人还不知道。而且现在军中都在担心到了池州后会不会碰上清军的那千余艘战船，所以士气很是低迷。
夜半时分，张煌言和徐允耕等商议军事直到三更，张煌言正想睡下歇一会时，忽闻外面炮声大作，营中很多人在大喊：“贼鞑子劫营来了！”
张煌言急到甲板观看，只见江上远处不时有火光冒起，人声嘈杂，无法确知状况。张煌言以为真是清军来劫营，便下令备战，可是江上清军炮声却逐渐远去，除了模糊的人声之外，再也不知具体。
事发突然，张煌言不敢入舱，便和衣在甲板。待天亮之后，他派出小船勘察清点，发现原来是下游的几艘清兵船开炮壮胆，双方并未发生实质战斗。
正当张煌言和诸将为此松口气时，一个意想不到的情况却出现了——张部停泊在较远处的船队听到清军来了，竟吓得在不明究竟下解缆升帆，不告而去，使得张部只剩不到三千人。不告而去的大半都是这一个多月招降收纳的清军降兵和地方义勇，其中就有降将张文胜等人。
船队走了大半，能战之兵不到三千，进取江西的战略变得难以实施，张煌言痛心无奈，决定改向巢湖。定下去巢湖坚持抗清后，张煌言忽然有股酸苦涌了上来，人在瞬间变得苍老许多。
得知尚书大人准备去巢湖后，魏大龙等将领却反对，认为巢湖入冬后水浅，根本不便停留海船，不如进入霍山山区，那里从前有不少抗清义师的山寨，或许能够立足。张煌言考虑之后采纳了这个建议，毅然下令全军弃船登陆赶往桐城，由桐城进入山区。
英、霍山区属于大别山系，正处在河南、安徽、湖北三省之交，山势波澜起伏，常年云雾缥缈，在安徽境内尤其险峻，陡崖、峡谷遍布，仍有一些抗清组织在山中筑寨。由于浙军不少士兵的眷属随行，加上武器辎重，故而张行进速度很慢，六天之后才到达桐城，所幸一路平安，清兵尚不知张部已转由陆路。然而，对浙军更大的考验才刚开始，浙军要进入二、三百丈的山区，不只跋山涉水，还需越过危峰峭壁，连骑兵都只能牵马而行，而且绝大部分的士兵都来自沿海，缺乏登山的装备和经验。几天走下来，不是淋雨受寒，就是双脚皆起了水泡，家眷妻小，更是苦不堪言，但人人都在咬牙坚持，无一人叫苦，无一人离队。
原本张煌言的目标是阳山寨，一个位在山顶的村寨，可容纳上万人，一直是抗清的根据地。张煌言已先透过当地义民去信，没想到走了大半路程之后，才得知阳山寨已接受清军招抚，原因正是南京兵败。张煌言大为愤怒，几欲领兵攻占，但虑及地势险峻，仰攻不易，终究放弃，改往英山山区。
八月十五日中秋节那天，张煌言带领的浙军仍在山中行进，忽传来前方有清军把守，张煌言为免损伤决定翻越东溪岭，绕道以避之。结果走了大半天之后，后方来报说是鞑子追上来了。
张煌言大惊，不明白清军怎的行动如此迅速，后又有来报，这才弄清楚，原来后方追上来的是鞑子的骑兵。此时张部上下已是精疲力尽，妻女眷小人人无力，士兵更是饿的走不动道。倘若继续行军，清军骑兵追上来后，恐怕张部覆没就在此间。
张煌言咬牙下令郭法广、魏大龙等将领挑选能战士卒数百人随他垫后，要参军徐允耕领着其他人继续走，务必要将浙军的种子保存下去。
浙军上下都不忍尚书大人为他们垫后，又都知此一垫后尚书大人必殉国，所以不论是士兵还是妇人孩儿皆不肯独走，都道要与尚书大人同死。场面之悲，闻者落泪，观者痛心。
张煌言流泪对众人说道：“诸位追随我与定西侯多年，我张煌言铭感在心，然今日之局面，鞑子目标是我，为保存抗清力量，你们当速走，善加珍重，日后大明光复还要靠你们。”言毕，一揖到地，众人泪眼相望，依依不舍。
“尚书大人保重！”
一兵忽拜倒在地，众人全部跪下，嚎哭之声声振山区。
抱着必死之心的张煌言和郭法广、魏大龙等将领着不到500人的浙军伏于清军必经两侧山坡。未及多久，后方果有蹄声传来，紧接着众人便看到数百清军披甲骑兵出现，旗色打出的是镶白大旗。
“是蒙古鞑子！”
魏大龙曾和满蒙真鞑作过战，一眼便看出来的是镶白旗的蒙古鞑子。闻听来的是真蒙古鞑子，浙军上下虽然害怕，但无一人轻离战位，人人均是抱着死念要为同伴和亲人争取活命时间。
张煌言拔出佩剑，正要下令放箭，对面清军骑兵却似乎发现了浙军的埋伏，纷纷勒马止步。为首将领拿鞭指着此处山坡与身边之人说着什么。
眼看鞑子不进伏击圈，郭法广等人便要下令浙军冲杀而出与鞑子拼命，却见对面清军有一将领突然驰出，对着这边喊道：“前面可是浙军弟兄？我等是广东太平军，奉我家大帅之令前来接应张尚书！”