长沙沦陷后。由于日军第11军未能捕捉到国军第9战区的主力部队，为了给进攻桂林、柳州扫除后患，命令第68、第116师团向衡阳突进，负责攻占该地。而原定一起向衡阳挺进的第3师团攻下浏阳后，“担当击溃来自第三战区的增援部队”的任务。
第13师团于攻克醴陵后，“向攸县、安仁方面突进，负责摧毁并攻占重庆今后进攻的据点”。
湘江西岸的第40师团“负责阻止并击溃第六战区的增援，特别要在攻取益阳、宁乡之外，还要进而攻取湘乡”。
显然日军准备在衡阳作战前，先对湘江两岸的国军发起扫荡作战，以扫除后患；这也为国军第10军在衡阳的布防争取到宝贵的时间。
衡阳的地理位置非常特殊，抗战时期，它是与重庆、昆明并列的战时中国三大中心城市，还有着小南京和小上海的美称。衡阳地处湘江，蒸水，耒水合流处，市街狭长，呈长方形，总面积仅为1平方公里左右。衡阳地形易守难攻，西，南两面有丘陵围绕，东，北两面环水，不能徒涉，虽然西，南两面有路入城，但城南宽阔起伏的山丘会使攻城部队陷入险境；而城西除山地外，还有水网密布的沼泽地，机械化部队运动极为困难。
衡阳战略位置也极为重要，是中国西南的门户和军事咽喉。由于水运十分方便，衡阳自古就是湖南重要的物资集散地。湘江东岸还建有美军在粤汉线上最重要的机场-衡阳机场，也是美军在中国东南地区最重要的空军基地之一。粤汉铁路又横跨湘江，西达桂林，延伸至柳州；与黔桂路接轨，为粤汉铁路和湘桂黔铁路的交会点。同时也是大后方通往东南各省的公路枢纽，还是进入桂，黔，川，滇西南四省的门户，成为国军战略防御的要塞，亦是日军完成“一号作战”计划所必须夺取的目标。
早在1944年5月29日，第9战区长官部就命令：第10军军部及第190师、预10师开往衡阳，修理加强衡阳东西两岸战略据点工事，并指挥暂54师固守衡阳。当天晚上，蒋介石还亲自打电话给第10军军长方先觉说“希望第10军能固守衡阳十天至两周，守期愈久愈好，尽量消耗敌人。”
此时，驻防衡阳的新编第19师与暂编第54师也属方先觉指挥。该军台面上虽下辖五个师，但战斗力都不强。因为第10军还没有从常德会战的失利中恢复过来，其主力第190师正在整编，实际兵力才约一个团，离一个整编师还相差八个团，属严重缺员；暂54师在常德会战后被缩编成两个团，相差七个团，5月初又分派兵力去各大机场担任守备任务，实际兵力仅1300余人（不足一个团）。由于各部队编制残缺不全，整个第10军防御兵力加起来总共才17600余人。
方先觉将守军兵力具实相告。将介石直言眼下已无可派之兵补充。并言衡阳本第九战区重要基地，要不惜一切代价坚守。军部可将来不及撤退的大口径迫炮、机枪、及大量库存约几十万枚手榴弹、地雷、燃油、大量防毒面具等均拨划给了第10军。
另外第10军下辖的第3师，第190师，预备第10师还各有一个野炮营，一个反坦克炮营，还另配备有一个山炮连；其火炮数量可以与国军五大主力之一的第5军相媲美。而且，战前第10军还将部分日式山炮营换装美式榴弹炮营，其余为苏式野炮、37MM战防炮和日式山炮。但是第10军强大的火炮配备，仍是衡阳保卫战屡挫日寇重要利器。
还是在1942年的3月份，方先觉就被提拔为第10军军长，辖领周庆祥的第3师，朱岳的第190师，孙明谨的预备第10师。常德会战爆发后，方先觉率领第10军，在战场上与日军进行殊死搏斗。但在作战途中，方先觉与战区司令薛岳发生了冲突。他所属的三个师中的主力第190师，在开进途中未经他的点头被薛岳直接调走。方先觉当然不愿意，两个人便在电话中吵了起来，只不过因为战事紧急，才暂且将彼此间的成见放下。但最终，第10师在易家冲遭遇了敌人的埋伏，在全军奋力抵抗的情况下，也没能突破敌人的防线。第10师几乎全军覆没，师长孙明谨战亡，余部兵力大损。
这时，方先觉手中便仅只剩下了第3师一个师的力量，而日军的援兵却源源不断。在这种情况下，方先觉想要冲进去，与驻守常德的国军会合，而且第三师的陈德升第7团已涉过宽达一公里的沅江黑夜到达常德车站，因发出讯号守军没有回应，轻率地向德山回撤，丧失了最好和唯一的一次会师机会，功亏一篑，陈德升团全军覆没，令人扼腕叹息。常德会战以惨烈而悲壮宣告结束。日军伤亡约为1万余人，而国军伤亡约在6万余人。
战后到了清算责任的时候，战区总司令薛岳却以“增援不力，不听指挥”一由，将方先觉第10军代理军长的职务撤下。
很明显，薛岳此举不但公报私仇，而且给自己身为战区司令指挥不力，找了一只替罪羊。军队里的人也明眼都能看出来，方先觉的部下心中更是愤愤，集体“上表”。正是由于这些“上表”，再加上军中一些同僚的说项和疏通，方先觉的离职调令才一直都没有批复。
常德会战结束之后的几个月，日军再次调集50万兵力卷土而来。许昌、洛阳、郑州、长沙先后沦陷，日军随即做好了进攻衡阳的准备。
眼看重要城市一再失守，薛岳心中着急了。这个时候，他已经不能再因为一己私欲，而置战况于不顾了，否则蒋介石估计还会亲自前来将他撤职查办。正是用人之际，薛岳尽管心中再不情愿，也只能捏着鼻子，让方先觉继续指挥作战了。而方先觉尽管心中对薛岳排除异己的行为感到无比恶心，但大敌当前，他不得不先将个人恩怨放下，专心准备迎战日军。
第10军的将士们听到军长方先觉又回来了时各个高兴万分。1944年5月30日，方先觉率领第10军进入衡阳城的当日，百姓夹道欢迎。看着百姓们期翼的眼神，守住衡阳城，不让它落入日军手中，守一方百姓之安宁的使命感，在方先觉的心中变得愈加强烈。
“有我方先觉，就有衡阳！”他发出了这样的豪言壮语。
如此以来，方先觉临危受命坚守衡阳，和参谋长孙鸣玉一起对城防及守备作战进行了详备的安排。
他首先将城内的百姓先行撤离到安全的地界，然后快马加鞭的命属下开始布防。正是这些作战前期的准备工作，让第十军创造出了一项奇迹。
具体部署为：第3师周庆祥部防守衡阳西北部，第190师容有略部防守衡阳南郊，预10师葛先才部防守衡阳西郊及西南郊，划入第10军指挥的暂54师饶少伟部兵力最弱，则防守衡阳北郊。
方先觉除却指导抢修了环城战壕为标志的衡阳防御体系，在守备作战上，更采取了阵地防守与机动反击结合，以保持防御稳定和见机而动的主动出击。
战前，第10军统筹全军火炮，对衡阳附近丘陵、山地、村落、渡口、道路及交叉点等若干目标，均作好射击诸元测量与准备。
在衡阳的江岸，第10军配置封锁湘江火力，并以衡阳储备燃油预备江面排放，必要时点火燃烧，阻敌舟船横渡。
此外，方先觉为第10军最后阶段作战也作了周密安排。
在衡阳城内各街道口特别是市内北部之街道，逐次修筑防御工事和地下工事；将重要物资如武器、弹药、粮食、服装、生活用品、医药等分散转移其中。
这批物资有力保障了后来国军第10军的作战。
正是靠着作战物资、军火的加强，经营日久的衡阳城防及方先觉的动态防御战术，国军第10军这才奋起神威，创中国战场抗战之先，独当并两次重创了日军2个主力师团的围攻。