吴天佑等人来到寺庙前，看到清军他们已经退入庙内，立即命令部队压上，准备抵近射击。并让雷彪的炮兵旅，马上组装2门火炮。
“报告军帅，火炮组装完毕。只是....”
“只是什么？说，吞吞吐吐干嘛呢。”
“军帅。士兵担心，我们这样在寺庙杀人，会不会惹怒菩萨？”
惹怒菩萨？吴天佑心里一惊。
他在后世，生在新中国，长在红旗下，信的是马克思，对佛道儒三教没多少概念，更谈不上尊重了。所以，一时忘了，此时的中国，佛教的强大影响力，在普通民众心里是根深蒂固。
太平天国早期弃儒毁佛就造成了严重后果，让民众离心、士绅仇恨。为了自保，乡绅纷纷出钱出力组织乡勇，与太平军死战。如果自己在佛教圣地大开杀戒、毁坏寺庙，后果不堪设想。
“你们的意见呢？”
看着一众低头不语的部下，心下明了。也就不逼问了。
“贾侍从，让人喊话，叫寺中主持过来见我。”
不多时，三位身着袈裟的老和尚就来到跟前，双手合十：
“阿弥陀佛，老衲是本寺主持，见过施主。”
“晚辈拜见方丈。”吴天佑也是双手合十。
“方丈，我太平天国信奉上帝，并不想干涉佛门的事。奈何贵寺不守清规戒律，竟然插手凡尘俗世。敢问方丈，你还是不是佛门弟子？”
“罪过罪过，施主何出此言。”
“难道我冤枉你了？我问你，佛门乃清净之地，为什么方丈准许清兵持凶器进入寺内？难道方丈想让寺庙变成战场吗？”
对方言辞凌厉，一上来就是一顶‘不守清规戒律’的大帽子，可谓字字珠玑、针针见血，让方丈一时不知怎么回答。
“哑口无言了？这就对了。方丈，我不是来这里和你理论的。清兵入寺规避，我可以接受，但必须交出刀枪，不愿缴械的就出来一战。
你去和里面的清朝官吏说，上天竺寺是他们的康熙、乾隆皇帝看重的寺庙，里面还有不少御赐的墨宝、物件。如果因他们入寺的原因造成损坏，就算是去了下面，我看他们怎样和大清的列祖列宗交代。”
等三个老和尚走后，吴天佑迅速召集将领，调整部署。考虑到攻打寺庙，会对寺庙造成损毁。同时，在寺庙里爆发激战，引发杀戮，会对扬威军造成很大的负面影响。
所以，吴天佑虽然对天竺寺方丈言辞严厉，但并不打算进攻寺庙里的清兵。
吴天佑决定放弃攻打上天竺寺，改为围困。只要他们回不去，杭州就照样是一盘散沙。缺少统一指挥的领军人物，攻打杭州就没多大阻碍了。等收拾完杭州，寺庙就不攻自破。
于是，吴天佑留下特战师前营负责围困，三个卒负责固守下山官道，两个卒则分散在四周监视。一经发现清军突围，立即火力拦截，坚决消灭。其余部队，迅速下山，朝杭州城北的武林门（百官门）挺进。
未时始（13时），除炮兵1旅外，所有部队均到达杭州北面的武林门。吴天佑命令特战师立即动手安营扎寨，郭长芳的第二师则组织士兵，立即进行试探性攻击。
郭长芳接到命令异常高兴，立即着手布置进攻事宜。他的战法相当简单，就是在300米的距离上，以散兵形式放置100名神射手，担任火力掩护。重点打击炮手和弓箭手。
等到城墙上守军都不敢抬头了，前营、中营、后营三个旅轮番上前攻击，半个时辰（一个小时）一换。
由于清朝浙江省的主要官员都困在上天竺寺里，八旗副都统来存成为整个杭州城的实际掌权人。他连忙派人向两江总督何桂清以及周边各路清军求援，同时组织人手上城墙防守。
同样，由于杭州知府等人也被困上天竺寺，整个官府体系群龙无首，来存无法有效组织城内民众协助守城。
扬威军几轮攻击后，作为进攻方的扬威军付出了死伤2百人左右代价，打得武林门守军心惊肉跳，伤亡近千人。副都统来存见势不对，只得放下手中事情，从其他各门调来1千绿营兵，留1千旗兵守满城，自己亲领1千旗兵增援，这才暂时稳住了局面。
此时，雷彪率炮兵1旅赶到武林门，马不停蹄开始布置炮阵、组装大炮。吴天佑见天色渐暗，加之清军增兵城头，继续强攻损失很大。便吩咐郭长芳的第二师暂停进攻，回营休整。全军埋锅造饭，准备晚餐。
来存站在城头，看见扬威军在组装大炮，心中暗暗叫苦。这特么的打的是什么仗，防守方比进攻方还死伤惨重，接近1：5的比例。而且，别人来来回回就是1千来人在进攻，已经让人难以抵抗了，如果他们聚全军猛攻，将如何抗拒。
现在对方大炮也到位，数了数足足有12门，自己的城防炮还有10门，但炮手已经被扬威军全部击毙。临时抽调炮手，因为没控制好装药量，当场炸了两门，没人再敢用了。接下来的仗该如何打？很明显，这仗根本就打不赢，就算今天守住了，明天也肯定会城破。
趁着扬威军暂停进攻吃晚饭这时间档口，来存立即召集心腹商议出路。当他们得知仅两个时辰，守军就死伤千人，扬威军不过2百人。现在，扬威军有近万部队，大炮12门。而守城清军仅剩5千，还包括2千旗兵在内。
于是个个面面相觑，知道这仗是没法打。守是肯定守不住了，结果无外乎三条路，战死、投降（被俘）、逃跑。这里面，没人愿意战死。因此，有人建议投降，有人建议跑路，莫衷一是。
来存听了也头大，不知如何抉择。这时候，他身后的老管家开口了。
“主子爷，奴才有句话，不知当讲不当讲。”
来存一听管家这么说，有戏。于是急不可待说道：
“都什么时候了，还当讲不当讲的。有话就说，有屁就放，麻溜点。”
“喳。主子，逃跑肯定不行，会被朝廷追究。丢官事小，能不能保住脑袋都是问题。不如我们降了吧。趁着现在扬威军还没攻破城池，我们或许还有讨价还价的余地，为主子谋个好的退路。据说扬威军军纪森严，颇为仁义，从不滥杀无辜。只要答应的事，绝无反悔。如主子不弃，老奴愿去扬威军军营走一趟，为主子效力。”
来存一听，不错，有搞头。只要扬威军的条件合适，这样不仅能保住性命，兴许还能保住富贵。只要事后自己往租界里一躲，朝廷也拿自己没办法。
“这样也好，你现在马上出城，以免迟则生变。”
老管家拿着来存的书信，立即出武林门，直奔扬威军营寨而去。
吴天佑此时正和手下部长、将军们在吃饭，有说有笑，气氛相当轻松愉快。整个战斗虽说和预先的计划有点出入，但攻击顺利，敌人在杭州的防守力明显不足，攻破杭州城是十拿九稳，毫无悬念。
如此局面，扬威军这一帮头头们自然欣喜不已。杭州城啊，浙江省治所在，扬威军平时想都不敢想的大城，就要归属扬威军了。水涨船高，各位的好处还能少吗？
酒足饭饱（习惯用语，军营里禁酒），一群人在军部大帐里喝茶，吴天佑准备安排接下来的战事。他原计划让炮兵团炮击半个时辰，再打压打压清军的士气，便停止进攻。重点放在晚上的夜袭。
吴天佑在两个月前，就让覃超通过特殊途径，慢慢把亲兵旅的后卒全部混进城内，就是准备在攻打杭州城时作为奇兵使用。今晚就准备里应外合攻取东面的庆春门（东青门），拿下杭州。
计划是好的，可常言道，计划赶不上变化。还没等吴天佑派人去传达命令，来存的使者老管家到了吴天佑的大帐。
吴天佑留下覃超和贾绍明，让其他人都散了。然后打开信件，上面没有其他内容，就是说来的老管家全权处理这事，信中有来存的印鉴。可见来存此人还是相当谨慎的，没有白纸黑字的把敏感事情写出来，而是让老管家口述。
吴天佑认可来存的这种做法。如果他直接把投降的所有事情写出来，吴天佑倒要怀疑，他这水平能不能真的可以确保杭州投降。
“来存有什么要求？”
“我家主子要求不多，保证人身安全，护送我家主子前去上海，外加50万两银子。”
“50万两？来存他疯了吗？”
泥马，这50万两你竟然说要求不多，你当我傻啊。吴天佑几乎要跳起来骂娘了。心道，我破城之后，不光是钱，连你的命都是我的了，你拿什么和我讨价还价。
老管家却是不急不忙，缓缓说道：
“大人，请听我解释。江南大营的饷银、粮草、弹药都在城内，有600万两白银和50万石粮草，弹药无数。我家主子负责完整交给将军。你看如何？”
听到这个消息，不仅是吴天佑，连覃超和贾绍明都被惊呆了。
特么的，这是上天送的大礼啊，今后一段时间，扬威军就不用再为粮饷困扰了。还能迅速稳定社会，发展工商经济，增强自身发展潜力，好处多多。
不过，50万两，吴天佑还是无法接受。最后，双方商定，扬威军支付30万两白银，并负责派船护送他们去上海。来存则必须于当天率军投降，交出武器并把部队撤出城外扬威军军营里待命。
老管家回去没多久，武林门便城门大开，并竖起白旗，宣布投降。
吴天佑立即命令第二师接管所有城门，并负责维护城内治安。亲兵旅接管官仓、粮仓和武器弹药库。特战师、炮兵1旅则留守大营，看管投降的清兵。
在第二师入城前，吴天佑再次重申部队纪律，违令者军法从事。当天，吴天佑并未跟随部队入城，而是在城外军营里休息。等城内完全控制并消除安全隐患后再说。
至此，扬威军顺利占领杭州。
两江总督何桂清，第一天收到杭州的求援信，第二天就收到了杭州被扬威军攻占的消息，一时之间惊慌失措，立即往北京发800里加急，向咸丰皇帝告急。
第三天，奉江宁将军和春之命前去求援杭州的江南大营将领张玉良率军路过常州。何桂清考虑到常州兵力不足，于是出城相会，想尽办法极力挽留，意图留下张玉良和1万3千江南大营精锐。
张玉良也不想去杭州和扬威军硬碰硬，那可是个硬茬子，谁碰到谁倒霉。现在更是出严州、战金华、破杭州，一时风光无限。扬威军是士气高昂，实力大增。
这个时候去触扬威军这个霉头，实在是凶多吉少。可军令难违。加上整个江南大营的粮饷都陷在杭州，如果不夺回，江南大营也将陷入绝境。
在常州停留三天后，接到钦差大人、江宁将军和春的催促令，张玉良不得不起兵南下，沿运河向杭州杀去。
一路上，有各地援军不断加入，包括浙江提督米兴朝、“宝胜勇”统领陈炳元等。船到嘉兴时，部队兵力已经膨胀到2万8千人。
嘉兴知府张玉藻出城相迎，并设宴款待。席间张玉良获悉，原浙江巡抚罗遵殿等人在上天竺寺被扬威军擒拿，整个浙江是群龙无首。两江总督急报咸丰皇帝，并举荐江苏布政使王有龄接任。
此时正是历史上“第二次鸦片战争”时期，共2万多英法联军正杀气腾腾攻过来，矛头直指北京。咸丰皇帝被英法联军打的是焦头烂额，哪有心思顾及江南战事。当即恩准，任命王有龄为新任浙江巡抚。
巡抚王有龄正赶来嘉兴，希望张玉良暂缓两日，等候巡抚到来。
张玉良虽然是江南大营战将，奉和春之命进攻杭州，并不属浙江巡抚管辖。所谓兵贵神速，部队其实不宜在嘉兴停留。
可在浙江境内作战，兵员、粮草、饷银等都需要依靠浙江当地供给，没有巡抚的支持，是万万行不通的。无奈之下，张玉良只得点头答应。