1862年1月吴天佑命令郭长芳第二师，从严州府出发，进攻衢州。当月，扬威军全境占领衢州，第二师就地驻防。
2月8日（正月初十），趁湘军攻打庐州之际，吴天佑率特战师、亲兵旅等共2万2千部骑从杭州出发，沿河而上，经严州到金华。
吴天佑决意欲趁左宗棠立足未稳，士兵训练还没完成，把楚军赶出浙江。汇合驻防金华的第三师后，扬威军的兵力达到3万2千人。
温州府浙江巡抚衙门里，巡抚左宗棠和一众楚军战将，个个面带凝重之色。
这次扬威军亲率三万大军来攻，气势汹汹，可谓来者不善。
可楚军除了5千悍卒外，就是浙江布政使蒋益灃从湖南招来的8千湘卒、当地招募的1万青壮，总共2万3千人。大部分还是没有训练好的新卒，战力不足。
这仗怎么看都是没法打的。
“各位，现在，整个浙江，就剩下处州、温州两府在朝廷手中。作为浙江巡抚，我们是退无可退，不得不战。你们可有信心和扬威军一战？”
左宗棠知道，要他们冲锋陷阵还可以，要他这帮手下去出谋划策那纯粹是想多了。
“战，战，战。”
“芗泉（蒋益灃字），这1万青壮就交于你了，加紧训练。想办法从英法手中购买枪炮，扬威军的火器很强，我们仅凭刀枪是无法抗衡的。
其余部队，包括8千湘兵新卒，全部随我出战，后日出发。”
两日后，左宗棠在出发前，收到了扬威军的最新动态。从台州方向过来的林小虎第五师攻入温州，占领了紧邻台州的大荆营。金华方向过来的扬威军主力，则到达金华的永康。
左宗棠不禁皱起眉头。
如果台州方向的扬威军轻敌冒进的话，自己还可以打个时间差，先处理台州之敌，再回头去迎战扬威军主力。
可现在台州军不动了，显然是在等待时机。看来这扬威军真不一般，稳扎稳打不冒进，自己空有满腹经纶也是无计可施。
左宗棠只得派营官戴国泰率本部并3千新卒，前往乐青以北的白沙关驻防。
自己则亲率1万2千余湖湘子弟，乘船逆流而上，直奔处州府治丽水。等左宗棠赶到丽水城时就得知，扬威军已经攻占缙云县，正在休整。
左宗棠立即叫来处州知府，让他迅速调集各县乡勇来丽水，同时征召民众协助守城。
而身在缙云县衙的吴天佑，也获悉左宗棠出兵丽水的消息。立即让骑兵1旅派出大量斥候，沿丽水方向清除楚军斥候。
扬威军的斥候是以“什”为单位活动，每人身上都配有三件武器：马刀、步枪和左轮枪。配置极其豪华。与楚军斥候相遇时，基本处于碾压状态。
“大壮，明天我会亲率特战师、亲兵旅、炮兵1旅、三个骑兵旅及水师左营出发。你留守缙云，要做好防御工作。左宗棠以万余大军迎战，正面交锋他很难取胜。采用计谋是他的不二选择。
缙云到丽水有70里路，我军需要两天才能到达。我会留水师左营在这个中间的临时营寨里，以戒备楚军的偷袭。”
“是，王爷。卑职明白。”牛大壮立正敬礼，大声回答。
次日，吴天佑率军出发，快速向丽水挺进。而扬威军斥候前出三十里，所以楚军斥候很难接近。根本没搞清有多少部队杀向丽水。
“什么？！你们是干什么吃的？连敌军的动向都弄不明白，我要你们有什么用？”
获悉扬威军已经出兵向丽水杀来，却根本没搞清楚过来了多少，留下多少。左宗棠知道，没有详细的情报支持，排兵布阵那就是笑话。
“左帅，扬威军斥候太过厉害，我们根本没有机会靠近侦查。有部分人进去侦查了，可没有一个回来的。我们已经损失了近200斥候，左帅。”
这么短时间内，竟然损失了2百斥候，左宗棠也是无语了。斥候怕是已经尽全力，但突破不了对方的防卫也是徒劳。
左宗棠很清楚，正面对战楚军没有半点胜算。只有兵行险着，还有一丝希望。看来，只有冒险一搏了。
左宗棠立即传令崔大光、黄少春、黄有功、李世颜、罗近秋、张志超、张声恒7名营官，各带本部人马，去夜袭扬威军。
入夜后，崔大光等带领7营人马，一路强行军，在寅时一刻（凌晨3：15）接近扬威军的营寨。稍息片刻，各营开始悄悄前进，向扬威军营寨逼近。
然而，刚走到离营寨还有2里地时，只听得一声枪响，扬威军的暗哨发现了他们，鸣枪示警。崔大光等人只得命令士卒强攻，加快速度杀入营寨。
可他们刚启动冲锋时，已经有部分扬威军士兵端着枪冲出帐篷，并迅速点燃营寨四周的火把，把营寨四周点亮了一小片。只要士卒冲进范围，迎面就是密集的子弹。
楚军还是强悍地往里冲。但迎接他们的不光是密密麻麻的子弹，还有手榴弹。随着轰轰轰几声巨响，楚军士卒成片倒下。
7名营官见状，知道战机已失。便带领部队迅速脱离接触，向丽水方向撤退。
而就在当晚，扬威军第五师也夜袭了戴国泰把守的白沙关。在戴国泰还没反应过来的时候，温州籍新卒内应已经打开关门，放第五师入关。
第五师随即兵临乐青城下，乐青知县知道扬威军的俘虏政策，开城投降。
林小虎留下后营守乐青，带领主力马不停蹄杀向温州府治永嘉。并于次日清晨，包围了永嘉诚。
温州知府请求浙江布政使蒋益灃带本部人马迅速出城，向巡抚左宗棠求援。自己留下来善后。蒋益灃明白他的善后就是投降。可他也无奈，永嘉诚内温州籍新卒全体罢战。就凭他本部500楚卒，如螳臂当车。
蒋益灃无奈带本部撤离，知府率永嘉全城向第五师投降。
3月3日（二月初三）扬威军第五师进入温州府治永嘉，温州落入扬威军之手。
次日，在丽水坐镇的左宗棠获悉温州失守，惊得他目瞪口呆。
他做梦都没想到，吴天佑带3万主力进攻处州，竟然是佯攻。真正的刀却是仅有1万兵力的第五师。
难怪吴天佑的进攻不急不慢的。他根本就没有真打，而是坐等温州易手后，断了楚军的退路，再行决战。
扬威军不费一枪一弹就拿下温州，主要是温州的官员百姓早就盼望在扬威军的统治之下。扬威军一到，毫不抵抗就开城投降。
左宗棠心道，只怕处州的情况也差不了太多。自己固守丽水，会不会被处州人出卖？左宗棠现在心中也没底。
下午申时始（15时）扬威军抵达丽水北门，在城外2里处安营扎寨。
此时，丽水仅剩1万1千湖湘籍士卒，外加宣平的500乡勇。城内民众征召了3千青壮协助守城。