诚如上文所说，日军此次攻打长沙动用的兵力非常多，因此从5月27日开始发起进攻，战至到6月9日时，日军就已经打到长沙外围。第9战区负责迟滞日军前进的第20军、第37军、第99军等部均不敌优势日军，此时已经是自身难保，并在日军的压迫下离长沙城越来越远。
日军在相继攻占浏阳和株洲等地之后，已经完成了对于长沙守军第4军的合围。自16日起，日军开始全力进攻第4军各部防守的阵地，以第58师团进攻长沙城，以第34师团和第68师团一部进攻岳麓山。
岳麓山上第90师面对日军的猛烈攻击，情况最为糟糕。此时岳麓山上还有蒋介石的“嫡系”部队36军。只是36军虽然装备精良，但是没怎么打过仗，说白了就是“温室中的花朵”，战斗力实在差劲。而此时山上还有蒋介石恳请美军援助的炮兵团名义上是保护长沙，实际上是保卫美军顾问。
17日，岳麓山守军陷入日军围攻。第90师长陈侃与留守在岳麓山的第9战区参谋长赵子立联名向军长张德能求援。赵子立特别指出：“以岳麓山不保，长沙势难固守；若岳麓山确保，则可以炮火控制长沙，此乃扼守长沙之先决条件。”
赵子立建议张德能将主力撤到河西来，说万一长沙失守，还可以向西撤退，去和王耀武汇合。作战经验丰富的张德能这时候也发现，此次情况完全和第三次长沙会战不同，日军进攻的重点非长沙城区而为岳麓山。若再和第三次长沙会战中的第十军一样，在长沙城区和日军死拼，也是孤军死守，最终难逃城破人亡的命运。而且外线部队已经完全被日军击溃，正在向南转移，并没有能力救援长沙。
想到此处，张德能急忙向赵子立请求将第4军与第36军换防，由36军防守城区而第4军主力守卫岳麓山。赵子立和美军军事顾问不敢答应张德能，因薛岳并未授权给他，就推脱说调不动36军。张德能无奈，越过薛岳直接向蒋介石请求。蒋介石却以为岳麓山有36军整整一个军防守，又有90师和美军一个炮兵团支援，应该没什么闪失。遂不同意张德能换防的请求，令他仍然坚守湘江。
张德能此时犯了难，一时无法拿定主意。就在17日上午8时开了一个师、团级军事会议，讨论改变部署的问题。第59师师长林察贤首先表示不能变更部署。如果临时变更部署势必导致军心不稳，第4军主力仍旧应该死守长沙，讨论未果。
到了11时，陈侃再次火急火燎打来电话表示岳麓山形势危急，请求张德能火速增派援军，不然即使全师拼光也无力守卫阵地。张德能于是再次召开会议，这一次张德能最终下定决心调整部署：让第59师和第102师分别各留下1个团坚守长沙，2个师的主力部队全部渡过湘江，向岳麓山靠拢。准备到岳麓山协助36军防御。
命令下达，部队开拔。谁知不一会儿，薛岳突然发了一封电报过来，主要内容是：“长沙保否此乃国家安危，民族存亡所系，所望晓谕各将士，无论如何要死守长沙。”但此时调整部署的命令已经下达，不可能收回，张德能后悔也已经来不及了，只能硬着头皮上，听天由命了。
而对于渡江的部署，张德能根本没有进行周密的部署，加上出现预想不到的情况发生：第4军各部因为没有足够的船只而滞留在了湘江东岸，延误了战机。原本第4军确实是控制了一些船只，但此时大部分船只都被私自用于运送物资，还没有回来，为此负责管理船只的第4军副官处处长潘孔昭在不久之后就被盛怒的张德能枪决。
这样以来，第四军从17日下午5时开始渡江，一直到第二天上午，第4军的渡河部队还没有全部渡过去，有的部队急不可耐开始擅自行动脱离本部。在渡河期间，第4军还不断遭到日军机枪和火炮的攻击，据统计这天夜里第4军的损失不下千人。
就在18日上午第四军两个师艰难渡河之即，在岳麓山上的第90师在日军的猛攻下彻底瓦解，全军溃散，师长陈侃也带着师直属部队逃离战场。
从长沙到湘江渡口3公里，从湘江到岳麓山也才12公里许。若张德能真能顺利到达岳麓山，日军偷袭计划定会全部落空，而第四军满可以逃过一劫并能转危为安，反败为胜。但事有蹊跷，张德能因为连日指挥战斗疲劳过甚，部队渡河的时候恰巧熟睡，负责指挥渡河的副军长也因仓促无序没有掌握好部队。日军发现了国军的企图，乘势以飞机和大炮猛攻，正在渡河西进的第四军两个主力师第59师和第102师近两万人失去指挥，马上陷入混乱，在日军火力打击下伤亡惨重，全线崩溃，部队各自分散突围，一哄而散。
原本深知第四军战斗力强悍的日军终于抓住这次千载难逢的机会，利用第四军渡河之机将其一举击溃。
打掉了第四军援军和第90师，日军随即对岳麓山36军发起突袭，36军猝不及防，被日军打了一个措手不及。三十六军外强中干，战斗经验欠缺，而军长黄涛一经交战便仓皇逃窜，一时之间，全军兵败如山倒，守军大部成为日军俘虏。岳麓山很快就被日军占领，而在上次会战时立下大功的德制重炮就这样被日军给轻松摧毁。
薛岳本想用上一次大败日军的“天炉战法”来再创辉煌，但此次他却遇到了横山勇这个工程师出身的强劲对手。横山勇的战术是将精锐部队一分为二，一线部队以攻击前进的方式直接杀到长沙城下，逼迫薛岳派出主力部队前来救援，而等薛岳的主力部队出现在围攻长沙的日军一线部队身后时，横山勇再迅疾派出二线部队攻击薛岳主力部队的侧后，使薛岳的主力部队处于横山勇一线和二线部队的前后夹击当中，迫使薛岳做出痛苦的选择。不退就会被包了饺子，落入被合围歼灭的危险境地。而如果选择撤退或将主力部队放在外线不参战，那就只能远远地坐视日军攻取长沙了。
横山勇的这招“反包围”奏效了，薛岳当然不敢选择用主力部队去攻击日军的一线部队，最后只能丢车保帅，眼睁睁地看着镇守“炉膛”的长沙守军全军覆没。
日军占领岳麓山,控制了长沙外围制高点后，国军失去了重炮的火力支援。日军三面夹攻长沙，国军张德能长叹：天不助我！但仍率残部死战。激战七天七夜，死伤惨重，弹药不继，援军无望。到6月20日，第4军留守长沙的部队全部伤亡殆尽，张德能再难坚持，便向赵子立请示解决办法。而薛岳此时早已金蝉脱壳南逃根本无法联络，又不放权于在岳麓山据守的赵子立，让战区司令部在关键时刻成为摆设。而即使赵的参谋长形同“虚设”但也不能置前线的请示于罔闻不加理睬和回复，无奈之下只好复电。当时赵电复：“如守不住可撤”。张德能这才下令撤退，所部少数人突出重围，退往衡阳。同日，日军占领长沙。战后经过收容，第4军残存的官兵只剩下6800多人，阵亡万余，完全失去了战斗力。
事后赵子立因此役败绩同样受到牵连，为求自保，赵子立一口否决复电一事。
美军不甘心失去许多大炮，威迫蒋介石追究失守长沙责任，蒋介石无法交待，更因各种顾忌不愿惩戒战区最高长官薛岳，乃电召张德能回到重庆，囚禁三个月后，于8月25日未经公开审判，即下令枪决。其余所部第59师第177团长杨继震、军副官处长潘孔昭、军务处长刘瑞卿、副官处中校股长陈继虞、长沙船舶管理所长夏德达等，亦先后被枪决。
而赵子立因事先已将此次不利战情向重庆侍卫主任林蔚等重臣反映，蒋介石获悉，后一纸电文称：“赵参谋长未于决策战事。”只被一夜关押便被释放。