26日，以太平军降军为先锋，清军开始攻城。此时，大部分的太平军降兵还是穿着太平军军服。在外人看来，就好像是太平军在打太平军一样。
清军火炮开路，并以火枪兵压阵，在太平军降兵后面和城墙上的太平军守军对射，分散进攻部队的压力。太平军降兵于是冒着枪林弹雨搭建浮桥，任由防守的太平军射杀。顷刻间，护城河就一片殷红。
几条浮桥刚建不到三四米，由于死伤惨重，太平军降兵便抵挡不住，溃败下来。在这短短的半个时辰里，太平军降兵就死伤了近4千人。
站在后面指挥的各清军首领也是纷纷摇头。在这么猛烈的射击下，谁也抵挡不住，更何况还是本来就怕死的太平军降兵。
鲍超：“暂停吧，没这样打的，这特么的就是白白送死。就算把2万太平军降兵打光，也建不起这几座浮桥。”
保胜：“那怎么办？总不能不打吧。”
丁汝昌：“当然要打，但不能这么打，多少命也不够填啊。我看只能在东、南、西三门外的吊桥两侧，垒高墙和太平军守军对射，然后再趁机抢夺吊桥。”
大家正在一筹莫展的时候，丁汝昌的这个提议是眼前唯一能想到的不是办法的办法。大家于是便一致同意采用这个方法。其实，这个方法在蒙古人打襄阳时使用过。当时蒙古人仗着自己弓弩功夫厉害，就垒墙和城内南宋守军对射，给守军造成巨大的伤亡。
就在5月清军出兵围剿鄂北太平军同时，曾国藩也调集了10万大军，以吉字营为主力，向杨辅清的湘南太平军发起进攻。
杨辅清见湘军势大，只能且战且退，不计较一城一池的得失，希望在运动中寻找战机歼敌一部。可惜他碰到的对手的曾国藩，一个擅长“打呆仗”的军事统帅。他是步步为营、稳扎稳打，愣是没给杨辅清半点机会。
杨辅清只得率领湘南太平军边打边撤，从耒阳退至永兴，再从永兴退至郴州，最后退到了湘粤交接处的宜章。期间，杨辅清几次伏击湘军，都未能成功，反而让湘军把伏击的太平军给吃掉了，损失不少人马。
在湘军逼近宜章时，杨辅清把部队撤入广东乐昌。而此时，杨辅清得到消息，2万广东清军已进驻韶州曲江城，堵住了太平军南撤的道路。现在是前有粤军拦路、后有湘军追击，湘南太平军被夹在乐昌动弹不得。
此时，太平军还剩3万8千人马，面对十多万大军的围追，根本没有取胜的可能。杨辅清权衡利弊后，只能舍弃所有辎重，全军携带粮食弹药和银两，沿小路翻山越岭，从三江口穿过，于6月10日到达桂阳（今汝城）。
由于舍弃辎重，太平军粮草供应困难，很难再同湘军在湖南周旋。于是杨辅清到达桂阳后，筹集粮草便再次启程，向江西杀去，攻打南安府崇义县。
15日占领崇义、18日占领上犹，兵锋直指赣州府治所赣县。
20日，杨辅清在赣州虚晃一枪，率部北上攻取相安（村），25日攻占吉安府龙泉。经过这番连续作战，杨辅清认为已经暂时摆脱了湘军的追击，于是全军在龙泉休整几天。并派斥候四处打探情报。
不过，送回来的信息却让杨辅清感觉形势异常严峻。
南面，湘军主力绕道韶州，经南雄、南安，已经抵达赣州赣县，堵住了南下的通道；西面，湘军偏师进驻桂阳后，又北上抵达桂东，堵住了向西回师湖南的路；北面，湘军水师提督彭玉林部已经抵达吉安府治庐陵，堵住了太平军北上之路。
眼下，只有两条路可行。
一条是往向西北方向突围，攻占永宁、永新一带。可这一带山高路险、地贫民穷，几万人过去吃饭都成问题。如果率军再杀回湖南，那里更难生存。
另一条路是向东突围。可向东的路不仅没有官道，大部分都是崎岖山路，刚刚攒下来的辎重根本无法通过。可舍弃辎重，大部队轻装前进虽然可行，但沿途没有人口聚集的城镇，几万人的粮食无法补充，弄不好都得饿死。
还有一点，如果向东，以后无论是继续向东还是向东北、东南挺进，都会进入夏王的控制区。而杨辅清本来就是因为不愿接受改编，才最后选择从夏王控制区出走的。再想回去，这话要怎么出口？夏王还能接受吗？
杨辅清自己难以决策，于是找来亲信及诸将，共同商议。结果，大部分人都希望向东，投奔夏王。杨辅清见众意难违，也就不再顾及自己的颜面，决定向东投奔夏王。
众将既然有了生的希望，浮动的军心迅速安定下来。杨辅清立即吩咐各军开始赶制干粮，准备翻山越岭。
等湘军主力抵达桂源（村），太平军从龙泉出发，迅速攻占万安。杨辅清立即让各部在万安附近强行征集牛马驴羊等牲畜，搭载粮草弹药。
太平军从万安出发，翻过蕉源山，突然攻占赣州兴国，打了曾国藩一个措手不及。此时的湘军主力正在从龙泉到万安的路上，而曾国藩正在赣县坐镇指挥，身边防守的湘军只有3千。如果这时太平军突然挥师南下攻打赣县，曾国藩将无兵可调。
太平军既然定下东去福建投奔夏王，所以杨辅清并没留意到西南方向赣县的情况，错过了时机。而是直接翻过雩山攻占雩都（今于都，读音相同），然后沿官道向东，于7月20日，攻占瑞金。并立即派亲信到福建长汀联系夏军。
当吴天佑接到长兄从福建发来的电报时，心情异常复杂。他并不知道历史上杨辅清是什么性格，所以很难判断这个人。
现在问题是不收肯定不行，以后就没人肯来投靠自己了。
收下也很麻烦，突然多了三四万大军，可吴天佑不没有打算扩军，他认为现在养40万大军已经足够他再打下三四个省了，没必要再增加。
而且，杨辅清的安排就更头疼。他是出走再回来的，就是他有再大的本事，吴天佑也不可能让他带兵了，这是原则问题。可他这么一位只会打仗的战将，又能安排什么位置给他？高了他干不了，低了又不适合，毕竟他原来是辅王加中军主将。
突然灵光一闪，他想起后世有两个特殊的兵种：建设兵团、铁道兵团，现在政务厅在全域正大力建设铁路，把他们安排去修铁路，封他个铁道兵团司令也行。
于是，吴天佑立即命令吴天佐派军队接管瑞金，让湘南太平军进入福建休整。所有旅帅以上军官全部赶来杭州。让政务厅安排他们坐坐火车，体验一下再找他们谈。