自6月23日日军对衡阳展开攻击开始，为了能够方便指挥，方先觉直接便将指挥所设置在五桂岭湘桂铁路局内。这就等于是将自己放在日本兵的眼下。有好几次日本兵甚至要冲破防线，冲到他所在的防空洞了，危险不言而喻，但方先觉一心想着如何更好的指挥作战，早已将生死置之度外。
几天之后，原本的指挥所已经在日军猛烈的炮火下被炸毁，所有人只能撤进地下防空洞。27日，日军已攻占了衡阳的外围阵地，防守外围的国军将士伤亡过半，形势已经不容乐观。在这种情况下，方先觉只能让得不到任何补给的第10军采取收缩阵地，拱卫核心的死守办法，下令撤回残余兵力于城内。日军第一次总攻在付出惨重代价的情况下得以抵近城区，但愈发遭到国军的顽强抵抗。
位于天马山和西禅寺之间的141高地地理位置十分重要，守军是周庆祥第3师第9团5连，进攻该地的是日军133联队渡边大队。
按常理来说，国军的一个连是无论如何也挡不住日军一个大队的猛烈进攻的。因为双方兵力相差实在太悬殊。但结果却让人出乎意料：守军的工事修的鬼斧神工实在是太好：主阵地前方被挖成了数米高的断崖，断崖前面是布满倒刺的壕沟，壕沟之外是铁丝网和密布的雷区，断崖之上有机枪掩体和手榴弹投掷壕。
6月31日上午，第116师团133联队渡边大队第12中队（中队长山口）向141高地发起进攻，井崎的第10中队和前田的机枪中队负责掩护。在守军数挺机枪的猛烈扫射下，冲锋的日军第12中队付出了极大的代价才来到断崖下。正当他们搭起竹梯准备向上攀登时，守军居高临下扔出了一颗颗手榴弹，日军避无可避，死伤惨重。渡边气急败坏之下命令山口继续进攻，这伙日军在断崖下同样受到狠狠阻击，竹梯被炸毁。山口情急之下命令搭人梯向上爬，然而当日军距离断崖顶部只差半米时，人梯突然崩塌。
原来守军故意让日军放开手脚攀爬，待到爬在最上面的日军用手都能扣到岩壁时，机枪突然怒吼，开始不分点儿数的猛烈扫射。人梯顶端的日本兵哪经得住这种打击，纷纷带着泉涌的鲜血惨叫跌落，接着人梯下部又被扫射，很多人中弹倒下。山口也被击中了腹部，鲜血直流。
伤者凄惨的呻吟和惨叫声，让在后面掩护的日军毛骨悚热。国军的机枪还在不断的扫射，日军的担架队根本就上不来。渡边无奈之下，只得派人带着长绳子爬到伤员附近，像绑猪一样将他们绑住，再让后面的日军拼命拉绳子，将伤员拉回来。由于伤兵太多，带去的绳子不够用，只能两三个伤兵共用一根绳子。山口中队长由于是腹部中弹，在往回拉的时候数次碰到伤口，导致伤势加重，还没等卫生兵救护就已毙命。
这天的战斗，日军损失了2个中队的兵力，守军则只有轻微的伤亡。之后的两天里日军继续增兵，并施放了毒气和烟雾弹，才在8月2日占领了141高地。
另一处，预10师第30团固守的张家山高地及其阵地。这是第10军衡阳防御阵地最前线上最高的一座孤山，与岳屏高地共同构成阵地的骨干。
7月1日5时起，日军以步兵炮和速射炮猛烈轰击，第116师团第133联队随即发起冲锋；但很快蒙受了自常德会战以来最大的挫败，他们遭到第10军迫击炮的猛烈反击，后又屡被国军官兵掷出的集束手榴弹炸退。双方血战至黄昏，日军进攻毫无进展。于是联队长黑濑大佐又命令第2大队协助第1大队夜袭所谓的“24”山顶。 2日凌晨1时，日军偷袭成功，占领了“24”山顶。但旋即又遭到国军反击，第1大队长大须贺大尉及所率官兵几乎全部被击毙，第2大队长也腿部负伤，国军收复“24”山顶。只是国军反攻部队伤亡不小：第2营损失最大，伤亡达70%以上。随后双方在“24”山顶展开争夺战，阵地反复易手20余次，国军增派的工兵连伤亡30%以上。最后，工兵连长黄仁化负伤不退，拉响最后一颗手榴弹与日军同归于尽。战至此即，“24”山顶的国军已无补充兵力，残余伤病员沿交通壕相继撤走，但日军也因弹药用尽不得不停止攻击。其后，日军变全面进攻为重点进攻，仅由小股兵力实施炮击或冲锋，以掩护大兵团的粮弹补充，待机而动。
7月初，日军逐渐得到了火炮和弹药的补充，日本空军主力也频繁出动。3日至6日，在日军优势炮击和飞机轰击下，衡阳城郊阵地几处被毁，城内各种建筑物昼夜燃烧。国军屯集的弹药多被焚毁或爆炸。战前第10军只储备了半个月的粮弹。连日的战斗消耗和日军的轰炸，便得守军的处境更加艰难。此时统计，步枪子弹已经消耗20%，手榴弹消耗近70%，各类炮弹消耗更多，达80%以上。
好在有中美第十四航空队协助防守。1943年中美空军已经掌握中国战场制空权。但在衡阳保卫战期间，日本空军还是一度掌握着制空权。原因是史迪威为了夺取中国军事指挥权，故意不向陈纳德提供油料；导致美国第十四航空队无法起飞。史迪威时任中国战区参谋长、中缅印战区美军总司令、东南亚盟军司令部副司令、中国驻印军司令，也是分配美国援华物资的负责人，可谓重权在握。他拒绝提供油料给中美空军去援助危难中的衡阳守军。中国空军美国志愿大队指挥官陈纳德无奈，致信美国总统罗斯福：“日本人在衡阳丧失了锐气，总司令（蒋介石）业已下令反攻。然而就在我们对中国人的空中支援应该加强之时，我们自己的东方供应线却崩溃了。”陈纳德将军的争取取得了一定的作用。此后，虽然中美空军未完全掌握中国战场的制空权，不过中美空军有限的出击和空中支援，仍给衡阳守军缓解了战场压力。
蒋介石没想到方先觉一守就是两个星期，喜出望外。所以亲自拟定发给第10军官兵嘉奖令。此外，还要求第十军务必再坚持两星期。只是令蒋与方先觉等第10军将领谁也不会想到的是，接下来这一打，竟又是一个月。
44年7月11日起，日军将攻击重点放在城南偏西方面 ，这已经是日军对衡阳的第2次总攻击了。日军飞行第44战队，连日炸毁紧靠第68师团，第116师团的第一线国军炮兵阵地和重机枪阵地；日军步兵第120联队3000余人在野炮兵第122联队和独立野炮兵第2联队的强大炮火支持下，强攻“X”高地。当天晨8：30分，第10军防御官兵已无力抵抗，被迫撤退。“X”高地陷落。
在日军炮兵的攻击下，守卫江西会馆的预十师第28团1个连官兵几乎全被炸死。次日，守备外新街的1连官兵与突入之敌逐屋争夺，最后仅剩3人。幸援军赶到，才将这股日军自大队长以下全歼。第30团方面，继续与日军围绕张家山高地展开激战，双方均迭次增加兵力，预10师部派上去的守备连全部殉难，军部工兵营两个连也伤亡殆尽，张家山阵地终告陷落。
虎形巢阵地为西南阵地的大门。国军第29团与日军在此展开血战。日军在11日，12日两夜攻击均被击退后。13日晚，发起总攻击，国军第2营以手榴弹居高临下反击，连续打退敌4次攻击，日军第116师团第120联队长和尔基隆大佐被炸死。国军全营伤亡达四分之三，营长殉难。次日，双方争夺达到白热化。15日，终因寡不敌众，虎形巢失守。此战，预10师第1线的3个团官兵伤亡殆尽，但日军攻势也聚减。
7月16日，日军又占领了肖家山高地等据点，国军被迫退守第2线阵地。但岳屏山，五桂岭高地国军战至7月中旬仍在英勇拼杀，最后连运输兵，炊事兵都上了火线。
日军第二次总攻击以来，经过连续9昼夜的血战，日军损失惨重，伤亡8000余人。步兵第133联队联队长，第5，第6，第7，第8中队长全部被击毙，大队长也被击毙3人。日军已无力继续攻击守军第2线阵地，20日，日军被迫停止进攻。