日军两次总攻衡阳未下，却蒙受巨大损失，给日本大本营及军界上层造成较大震动。日军第11军司令官横山勇一直认为衡阳固然要攻取，湘江东岸之莲花、茶陵一带山地里的第9战区主力更要打击。这不仅是为了掩护正面对衡阳的攻击，更重要的是为日后桂柳作战提供便利和先机。况且，横山勇根据以往作战的经验，认为国军的野战军主力被击溃后，衡阳将不攻自破。而且横山勇非常狂妄自信。在战役打响之初，日军只出动了第116和第68两个师团，满以为跟打长沙一样能轻松破城，结果屡攻不克，大出横山勇意料。
日军大本营不满横山勇只用两个师团攻击衡阳，而要其投入全部主力尽快攻占该城。因为此时日军在太平洋战场连遭惨败，首相东条英机只能靠陆军在中国战场的表现，来维持其统治。若衡阳战役继续胶着，东条内阁就将崩溃。因此，日军第11军重新调整湖南战场部署，逐次增兵，甚至把负责打援的第13师团、第40师团各一部、驻防长沙的第58师团，配备加农炮，榴弹炮各30门，另有第11军直属重炮联队和独立山炮兵第5联队等部也来参战加入对衡阳西北及北面的进攻；此外，精锐第3师团（甲种师团）及第27师团（乙种师团），第34师团的针谷联队4000余人也分别南下，参加第3次对衡阳的总攻击。
此时参加衡阳战役的日军总兵力已达15万余人，其中直接负责衡阳攻坚的日军就有9万余人。
国军方面，蒋介石也于7月22日改变衡阳外围援军部署：具体为：
1、我衡阳外围援军，应集中全力，先突破衡永公路附近之虎形山及汽车西站以西日军阵地，再图扩大战果。
2、黄涛将军的第62军（粤军）以一部监视衡阳南侧之敌，集中步炮主力于黄泥坳附近，向虎形山及其东南地区之敌阵地突击。突二纵队即沿公路由黄泥坳西南地区，向汽车西站，虎形山方面推进，归入黄涛将军指挥。
3、王甲本将军第79军（土木系，非滇军）应集中主力，由贾里渡方面向汽车西站以西之敌突击，以收夹击之效。
4、第63师（湘军）主力应攻占望城坳，以策应各军之作战。
5、中美空军应集中轰炸虎形山及汽车西站以西之敌，期发挥陆，炮，空协调作战之全力得突破之迅速成功。
7月27日，蒋介石再次要求外围各部队，应趁后续部队之到达，先将鸡笼街之敌歼灭，继续增援前线，击破衡阳以西地区敌人，以贯彻打开敌围与第10军会合之目的。
而进入7月底，衡阳城内国军情况已极其艰苦。第10军经过1个多月的苦战，军部直属队伤亡三分之二，预10师伤亡90%，第3师伤亡70%，而第190师仅剩400余人。到8月1日，方先觉在致蒋介石电中谈及守军的痛苦情况：“职不忍详述，但又不能不与均座略呈之：1、衡阳房舍被焚被炸，物资尽毁，幸米盐均早已埋藏，尚无若大损失；但现在官兵饮食，除米及盐外，别无若何副食，致我官兵营养不良，昼夜不能睡眠，每日处于风吹日旺之下，以致腹泻腹痛转为痢疾者，日见增多，既无医药治疗，更无部队接换，只有激其容忍，坚守待援。2、官兵伤亡惨重，东抽西调，捉襟见肘，弹药缺乏，飞补有限。自午卅辰起，敌人猛攻不已，其惨烈之战斗，又在重演，危机隐伏，可想而知。非我怕敌，非我叫苦，我决不出衡阳，但事实如此，未敢隐瞒，免误大局。” 复电又云：“伤亡惨重，战况惨烈，请求支援”
而蒋介石的回信，却让方先觉顿感不妙。
蒋说：“……以后对于求援与艰危情形，非万不得已，不必发电详报，以免敌军截获知晓。余必为弟及全体官兵负责全力増援接济，勿念。”
可一直到8月4日，日军第三轮进攻来临之前，援军依然没有赶到。此时城内的国军已经完全陷入弹尽粮绝的地步，只能以手中的刀刃与敌军相搏。而且，军部与下属各部的通讯联络电话线都被日军飞机、重炮炸断，已无法组织有效的抵抗。
在横山勇亲自指挥下，投入了5个师团近10万重兵和100多门大炮，企图凭借兵力，炮火上绝对优势在1天内攻下衡阳。城西南阵地仍为双方争夺重点。
此时，第10军炮弹已全部耗尽（迫击炮弹都打光了）。无力进行炮火反击，只能任由日军炮轰。但是随后突击的日军步兵仍无法冲破第10军手榴弹和刺刀的反击。相拼一日之后，很快预10师全体伤亡殆尽，其第30团第1营已战至20余人；该师阵地改由第3师接替。五桂岭，天马山，岳屏山等高地争夺战空前惨烈，第7，第9两团长负伤，官兵伤亡更重。方先觉眼看着自己信任的部下，一个个鲜活的生命不断在眼前倒下，而阵地却接连失守，他几乎是眼含着热泪，给蒋介石发去了最后一封电报：“委座钧鉴：我军现已弹尽援绝，敌于今晨自北门突入，我已无可堵之兵。学生等决心以死报党国，不负钧座平生作育至意。此电恐为最后之一电，望来生再见。学生方先觉、周庆祥、葛先才、容有略敬叩。”
遗憾的是，一直到作战结束，衡阳全面失守，援军也一直未等到。
日军亦同样死伤惨重，第116师团第109联队就有3个大队长被国军击毙。
8月6日，在岳屏山战斗中；第68师团第57旅团长志摩源吉少将被国军狙击手一枪爆头，当地毙命。第58师团在武汉秘密特训的精锐荣誉投弹手也被全部击杀。
同日，一股日军自城北撕开了城防的缺口，突向市中心，惨烈的巷战开始。横山勇命令所有野战炮，加农炮，榴弹炮不计弹药基数全力炮轰衡阳城，日军第44航空队战机也全部投入轰炸。一时衡阳城内猛烈的爆炸声震耳欲聋，四处火花，阵地掩体被击碎，建筑物全部轰塌。接着，日军步兵全线压上，数次由日军第1、第2、第5、第10野战补充队补充兵员的日军以联队规模轮番组织攻击，在付出极大的伤亡后，突入衡阳城防，从小西门等突破口不断涌入市内。衡阳已经到了沦陷最后时刻。
日军自长沙到衡阳既有战机支持，也有纵深保障。所以无论第九战区的地面突击，或者中美联合空军空中袭击，均无法阻断日军优势兵力保障下的补给线了。
此刻，激战连连，衡阳城里的国军孤军也困难到达极致。
衡阳激战正值暑期，天气炎热。
国军孤军6000多伤兵被困危城，在缺医少药之下，伤口发炎红肿生蛆，痛苦难当。最后数日，无法忍受痛苦而自尽的抗战伤兵超过百人。
战事激烈，阵地吃紧，他们无人照料，躺在残垣断壁，露宿缺食，重伤者大小便不能自理，极为悲惨。
8月6日，日军以战机、重炮火力掩护，再次向衡阳发起攻击。
战至深夜，日军战机以燃烧弹持续轰炸，衡阳几无片瓦，却是一片火海。
国军伤亡极为惨重，整体防御摇摇欲坠。彼时，国军第10军第3师师长周庆祥将军满面战尘冲进第10军指挥部，向方先觉将军直言：“日军已经突入城内，难以阻挡。日本民族残酷，我们一旦失败，其必将杀死数千伤兵泄愤。保全这些忠勇战士的生命也是长官的第2个责任。否则我们如何向他们的亲人交待。”
方先觉陷入两难选择，当时含泪无言。
日军师团一部占领一处国军后方伤员收容所，即以机枪、手榴弹全部杀害。
8月7日，拂晓，日军第11军炮群及第3、第68、第116师团炮群对衡阳城及国军残余阵地持续进行2小时猛轰。
随之，日军第5航空军以战斗机第25战队之11机、48战队之8机，掩护第6战队轰炸衡阳，支援地面日军进攻。
这是衡阳围城以来，日军攻势达到最高潮的一刻。
援军无望，战至绝境，方先觉召集部属紧急会议，讨论突围、死守、投降以待时机。
与会军官多认为，衡阳城内伤员众多，弹药奇缺，无力突围。
如今，唯有力战殉国、忍辱投降两项选择。
彼时，国军7、8000余伤员分散衡阳各处。
想起国军伤员惨状，想起重庆及蒋先生重托，方先觉难以决断，再次含泪避席，会议无果而散。
当晚，周庆祥将军默许了下属团长带领其部投降日军。同时，在报告军部之后，派出人员联络日军第116、第68、第3师团。
联络员最先到达日军第116师团战地，随后被转介绍至日军第68师团堤三树男司令部洽谈。
衡阳围城的日军第116、第68、第3师团的师团长里面，堤三树男与岩永汪、毛利末广资历不同。堤三树男是1910年毕业于陆士第22期，岩永汪、毛利末广均为堤三树男的师弟。
是以，按照日军资历习惯，堤三树男虽然刚由旅团长出任师团长，即成为衡阳战和的决策者。
当夜，堤三树男口头同意接受国军第10军投降，但口气强硬表示要在次日于方先觉将军会晤面谈，才最终决定战和。
8月8日，早晨，10余辆日军坦克突入衡阳北门。
彼时，方先觉心有不甘，下令开炮，然而，此刻国军盛装炮弹的弹箱已告罄一空。
方先觉黯然长叹，命令拟出最后电报，决意率部死战殉国。电文曰：“我军现已弹尽援绝，敌今晨自北门突入，我已无可堵之兵生等决心以死报国，不负钧座作育之至意，此电为最后之一电，来生再见。学生方先觉、孙鸣玉、周庆祥、容有略，葛先才、饶少伟等敬仰。”
电文发出不久，周庆祥将军不待军长首肯便带着日军联络官来到了军部。
彼时，自衡阳6月28日围城，昼夜间大小激战无数，硝烟弥漫，烈火冲天，杀声不绝，直至8月8日。
最后关头，第10军军长方先觉将军放弃自杀念头。率第3师师长周庆祥、第190师师长容有略、预10师师长葛先才、暂54师师长饶少伟及副官处处长孙广宽，由日军联络官引导，在衡阳城南天主教堂，与日军第68师团师团长堤三树男会晤、商谈。
日军拒绝了国军七项投降条件，向国军提出无条件投降要求。
堤三树男手以作战地图示之，夸口衡阳孤城陷入日军重围，以日军攻势，解决衡阳战事不过一二日而已。
8月8日，上午10点，会晤商议结束，方先觉回到司令部下达了全面停火、投降的命令。
11点，衡阳战役结束。
衡阳围城，是抗战发生的城市攻防战中，持续时间最久、战斗最惨烈、战略影响最为深远的局部战争。日军因为陷足衡阳城下，致使其孤注一掷下回光返照的一号作战久战无功，继而转为捷号作战。而在抗战及太平洋战争后期，日军为确保本土和南方诸岛而制定与盟军决战的捷号作战，包括东南亚捷1号作战，台湾及南方诸岛捷2号作战，本土本州、四国、九州等三岛捷3号作战，千岛、库页岛和北海道捷4号作战，而日军上述的几次捷号作战，均在中、美、苏盟军的联合打击下宣告破产，使得日军走向最后的灭亡。
就此意义上，国军第10军以孤军抵抗，重创日军，使得日军陷足坚城长达47日，既终止日军第11军庞大兵团于一号作战中，蛙跳韶关，突击桂、粤，更在客观上迟缓和打乱了日军全局部署。
衡阳保卫战对日军捷号作战可谓盟军首击，影响极为深远。
就此，在战术、战役和战略层面分析，衡阳保卫战都可以看成国军的巨大胜利。
衡阳孤城自方先觉将军以下官兵，无一不是那个苦难的年代，上苍赐予华夏的民族英雄。
方先觉等人投降之后，像他这样的高级指挥官，被押解到衡阳欧家町天主堂内软禁，虽然生活不算差，但方先觉依然感觉日日都像是有一块大石头压着一般，时常喘不过气来，内心十分煎熬。
在被关押的那段时间，方先觉曾经因为连日以来的劳累，到被捕之后的心累，身体以及精神上的双重打击，一度让他病邪入体，高烧不退。即便如此，他也拒绝日本医生为自己治病，硬生生地扛了下来。
11月被戴笠救走的时候，这个1米8的大汉，体重竟然还不足100斤。
但方先觉无时无刻不在想着逃出去。
好在，蒋介石也深知，在坚守衡阳时，方先觉在援军和军需物资一直未到的情况下，带领部下在城内坚守了足足47天，大大延缓了日军向西南推进速度的难得之处，一直都在想方设法展开营救。
也亏得在于，“先和军”组建完成之后，三个月间，方先觉一直都假装很配合作战训练，使得日军的防备心理逐渐松懈下来，也给国民党的营救创造了机会。
在11月一个凄风苦雨的夜晚，方先觉等人才在国民党军统特务头子的费心营救之下，重新得以回到大本营。
方先觉的衡阳之战，所部第10军以不到2万的兵力，抵抗十万于众日军，最终打死日军2万余人，致伤6万余人。此役属于日军“一号作战”的一部分，受到从未遇到过的激烈抵抗。会战结束后日军大本营给“中国派遣军”补充了20万名新兵，其中的一半直接补进了第11军，由此可见横山勇所部在衡阳的伤亡之惨，因为其他几次战役比如长沙攻略、桂柳会战等等，日军的伤亡都不是很大，因此衡阳的死伤要占主要份额。尤其是衡阳保卫战期间正值酷暑，气温超高，尸体腐烂，到7月份时日军军营已出现瘟疫，由于前线医疗简陋，日军的战伤死、战病死数量惊人，可惜没有相关数据可供。
据第十军预备第10师师长葛先才战后回忆，第10军在衡阳保卫战中牺牲约6000人。日军统计并公布放下武器的第10军官兵总共12306人，而战前第10军总兵力为18000余人。如此看来衡阳牺牲的战斗官兵6000余人是正确的。在被日军俘虏的这部分官兵中，轻重伤员7000余人，辎重兵、通讯兵、卫生兵、机关人员有3000多人。换句话说，方先觉手下的战斗兵最后已不足2000。
回到重庆之后，蒋介石并未对他多加苛责，而是借新闻媒体大肆宣传其勇武，大树特树方先觉等人抗日英雄形象，以获取国际国内的舆论支持。方先觉、周庆祥、容有略、葛先才、饶少伟都被授予最高荣誉青天白日勋章。
其实早在衡阳城陷后不久，蒋介石及军统即知道方先觉等将领真投降日军。而之所以给予方先觉等人青天白日勋章，实为通过宣传方先觉等守城将士“誓与城池共存亡”的牺牲精神，来责备美方破坏中国抗战之实。当衡阳战事吃紧时，史迪威不向陈纳德将军提供油料，也不允许陈纳德将军用物资交付给国军。陈纳德将军只得选择其他方式解决所有问题，后来在对陈纳德之后继任的美国第十四航空队队长魏德迈的调查了解也证实了这一点。
之后，方先觉等4名第10军高级将领在国军内部遭受冷遇；第10军也改编为第190师。1947年，方先觉因国共内战失利，而被撤职查办，之后被彻底打入冷宫。但尽管如此，还是有人说方先觉是一个叛徒和卖国贼。方先觉战后隐居于香港寓所时还在郁郁慨叹：“余今生最大的憾事就是当年未能战死在衡阳”。