形势如此险恶，秦子檀、温庭瑞仓促出逃。上塘很快失陷，即便是永嘉本城，也是依靠近千名自愿当死士的伤卒留下来殿后，主力才能仓促撤出来。
永嘉守军在战前就有万人，战时奢飞虎在东阳县又抽调约三千八闽战卒增援永嘉，最终从永嘉城撤出的，加上伤卒都不到四千人。
淮东军并不就此收手，在后面紧追不舍，迫使温庭瑞分批投入数百死士殿后，阻拦追兵。
伤卒及将领家小坐船走水路，但楠溪江上游水窄流急，险滩又多，深入百余里后，水道已经不利百石以上的大船通过，大量的伤卒及将领家眷都被迫弃舟登岸。
虽说从永嘉到仙居也有两百里路，但山路崎岖，又给暴雨冲垮数处，就更为艰险。
少数人马通行，或许无碍，但三四千人又夹着大量伤病及家小挤在其间，就显得额外的拥挤、混乱，便是将辎重都抛弃，他们一天难走上三十里路。
眼下只能指望台州守军先一步撤到仙居，能派兵马来接援。
偏偏三天前的那场暴雨后，又连续三天放晴，似乎老天都在帮淮东军追杀他们似的，叫温庭瑞心头如何不愤恨？
屋漏偏逢连夜雨，眼见淮东军从后面追上来了，偏偏这时候又将有倾盆大雨而来——看着拥挤在狭窄河谷里的部众脸上仓皇不安，温庭瑞都有抱头痛哭一场的冲动。
“庭瑞，你看西北面的山上，似乎有什么不对劲啊！”秦子檀艰难的坐直身子，三天来仓促逃亡，让他大腿两侧给马鞍磨得鲜血直流，他指着西北面的崇山峻岭，提醒温庭瑞看去。
“没有什么不对劲啊！”温庭瑞顺着秦子檀的手看过去，那边的山头很宁静，没有看出什么异状来。
“平静得过分啊，”秦子檀虽说狼狈，但还没有失去分析能力，说道，“我们数千人进入河谷，两边山林都应该鸟飞兽惊才是，没有动静才是异常！”
伏兵！温庭瑞陡然想到这个可能，惊了一身冷汗。
虽说两侧都是崇山岭峻不利大股兵马通行，但是淮东军要是有三五百精锐穿山过林潜入到前方不是不可能。寻常时候，三四千八闽战卒根本就不怕给三五百奇兵偷袭。但这时候后有追兵，众人仓促逃亡有三天，正精疲力歇又惊惶不定，士气受到严重的挫伤，而且大股兵挤在河谷里混乱不堪，这时候给淮东军潜过来的三五百奇兵偷袭，后果将是灾难性的。
“王见雄！”温庭瑞大声吆喝，让亲信小校亲自带领斥候摸到西北面的山林上去侦察，又下令各部加强对左翼的警戒，又派了半营精锐，在尾后再组织起一道拦截追兵的殿兵屏障。
温庭瑞刚部署下去，豆大的雨点就劈头盖脸的打下来。
当世指挥传讯手段本就有限，大雨之下，温庭瑞除了能调动身边随扈精锐外，对外围的部队就失去有效的控制手段。
这时候，大雨模糊了视线，两人隔着数步扯嗓子咕，都能听岔了，人又拥挤着四处避雨，队列混乱，传令兵通行困难，想要找下面的将领传达温庭瑞的命令都困难——换谁处在温庭瑞的位置，都会束手无策。
秦子檀下马来，扈从扯开布蓬让他避雨，秦子檀担心西北面的山岭里真藏有伏兵，当时的形势只能让他心里期盼伏兵不要趁大雨发动袭击。
※※※
斥候浑身淋湿钻回来，禀报进入河谷的逃兵的情形。
张季恒伸手抹掉脸上的雨水，绷紧着脸，将随他潜过来的两名营将、几号哨将喊到身来，一名哨将，舔着滑落到嘴边的雨水，问道：“摸上去，打他娘的？”
所谓奇袭，就是要运动到敌人所意识不到的方向，在敌人没有防备之际，迅速在局部形成兵力优势，进行强袭，一举将敌军击溃。
要让敌人无法提前觉察，要做到行军隐蔽，能进行奇袭的兵力自然不可能多，特别是张季恒他们要从险峻小道翻越北雁荡山，速度慢不说，也根本不可能将太多的兵马带进来。
当然兵力太少，发动奇袭也不可能成功，至少要保证一举突袭，就能造成敌阵的混乱，这才能以少击多，获得胜利。兵力太少，一旦让敌人稳定脚阵，很可能一次反攻，就将突袭兵马消耗光。
逃入河谷地带的永嘉守军有三四千人，但随张季恒早在四天前就潜进来的精锐才三百余人，藏在山地里有四天时间，才候到浙闽军北逃至此。
按说要发动突袭，张季恒手里的兵力还是有些少，而且追兵给拦截在下面，短时间里也很难冲上来支援。但是河谷狭窄的地形以及此时的瓢泼大雨，都是对发动突袭极有利的因素；没有这场大雨，张季恒也只能拖到夜里才敢对逃兵队伍中段发动强袭。
眼前形势对发动突袭有利，张季恒断不会放过这个机会，看着周遭众人，说道：“怕死鸟朝天，大人可是在永嘉城里等着我们传捷呢！等会下去，各人都带一部，从北往南，打穿了就是大捷，停下来就是死，都给我拎清楚了，不要鸡鸡妈妈的犹豫！”
诸将应诺。
大雨之下，弓弦软湿，射箭无力，不能依赖弓弩，大家都将弓弩丢下。不单弓弩丢下，张季恒又带头将浸了雨水而变沉重、湿涩的外甲、衬甲脱下来。
一旦给逃兵稳定阵脚，双方出现僵持，他手边这点兵力，根本不够消耗的，穿甲不穿甲，意义不大，突破、打乱敌阵的速度一定要快，厚甲反而成了累赘，三百余人都轻装上阵，分作数队，持着刀盾枪矛往山下的河谷北口子摸下去……
张季恒率部从山林里冲出来，首先将刚上要摸上山的十数斥候杀败；浙闽军在北侧河谷口子上的兵卒有所警惕，但大雨使他们的反应能力大为降低，无法将突袭在开始时就遏制住——衣甲给大雨浸透，动作迟缓，大雨与狭窄不平的地形，将北侧以伤卒、将领家小为主的人马阵列拉得狭长而混乱。
大雨模糊了视线，无法摸清有多少淮东军突袭过来，前面组织的薄弱拦截阵列很快就给冲溃，本阵给突袭的淮东军冲进来，很快就引起难以遏止的混乱。
温庭瑞与秦子檀给裹在阵心，三四千人挤在一起，找人都困难，遑论调兵遣将稳定阵脚了，只是人挨人的传令，往山里撤……南面是从永嘉城追出来的淮东军主力，根本没有退路，也无法阻止北面的混乱，更不清楚到底有多少淮东军潜过来打伏击，东面是因大雨而变得暴躁、湍江的楠溪，此时只有尽可能疏散多的兵力进山林，伺机打反击，将混乱制止住。
大雨及混乱使得温庭瑞的一切努力变成徒劳，即便是温庭瑞与秦子檀两人也给裹缠住，无法撤到山里去。
鲜血混杂着雨水，一旦前阵给击溃，后阵将卒只能在混乱中给胁裹往后走，但最狭窄处仅十数步宽的河谷地形，一旦有人跌倒，拥挤、践踏，就引起更大、无法遏制的混乱，有无数人往西面山林里逃，便更多的人给挤下水势汹涌的楠溪……
这场大雨势头减弱收住之时，逃入楠溪河谷的永嘉守军就彻底溃败了。
张季恒杀透过去，身边也就仅剩三十余人，其他人都杀散了，但听着四处的喊杀声，便知道大家趁乱杀得敌军大溃，自身伤亡反而有限。
张季恒身上挂了无数伤，鲜血淌下，有如血人，筋骨也软。他在淮东军里也是以勇武著，但杀得太疲，看着敌军还有小股聚集打反攻的趋势，咬牙激励身边部众，笑道：“只要杀下去，才能活着享受战功啊！”张季恒所率突袭兵马才三百余人，杀透敌阵，实际杀伤敌兵数量也有限。河谷、山林里，到处都是溃兵，这边离仙居近，不能支撑到后面的追兵赶上来，让大量溃兵逃回仙居，都不能算大胜。
张季恒终究是人少，突袭时，兵力又分散掉了，北撤的永嘉守军又是以八闽精锐居多，老卒经验丰富，雨势一歇，聚拢三五十人，就能打反击。张季恒也只是尽可能将更多的人聚集起来，守住河谷中心的位置，好在很快南面有小股溃兵逃过来。这表明刘振之率部将浙闽军殿后兵力杀溃。