从1944年3月开始，日军开始在炮火掩护下重新修建黄河大铁桥。黄河南岸国军没有重炮，无力还击。铁桥顺利架构完毕。此时中国第一战区还像中条山战役一样，对日军真正的战略意图根本没有清醒而正确判断，不知道日军究竟要干什么。
日军此役发动的是豫湘桂会战，战役的目的，简而言之有三个意图：一是太平洋战场需要一条由中国大陆到东南亚的交通线；二是摧毁占领中国大陆机场，减轻对鬼子本土的突袭压力；三是在太平洋不断失败的时候，在中国战场取得大一些的胜利，抚慰国内。豫中战役也叫河南战役，是豫湘桂战役的第一阶段，发生在京汉线的河南南部郑州到信阳段。
当负责第一阶段、也就是豫中战役任务的日军华北方面军司令官冈村宁次拿到这一战役命令的时候，是不认同的，甚至直接拒绝大本营下达的命令。冈村认为，黄河铁桥正面及霸王城（原京汉铁路黄河大铁桥南桥头西侧）桥头堡以南的防守力量必然较强，不易攻占，而且伤亡较大，并延误时间。因而应该先由在中牟地区的部队渡过新黄河（即黄泛区，原贾鲁河河床）西进，进攻郑州、密县、新郑地区，进至防守黄河铁桥两侧守军的背后，尔后再令霸王城地区的部队发起进攻。这样形成前后夹击之势。击溃第一战区为主的敌人后，占领平汉路南段沿线之要地。更为重要的，应以第27师团迅速向洛阳地区突进，组织佯攻，以牵制和寻歼第一战区主力部队。另以第1军在山西蒲州、第13军在安徽阜阳地区进行牵制性作战。
冈村认为如果中国军队主力不被消灭，这么长的战线，即使打通了也会被重新割断。所以，为达到战役目的，他又提出了三个条件：一是从鸭绿江借调架桥机（日军全国只有一套），修复黄河大铁桥；二是调用驻内蒙古的战车第3师团；三是要求配属从关东军抽调的航空兵。大本营一番考虑后同意了冈村宁次的要求。这样以来，进行豫中作战的日军主力第12军原辖3个师团又6个旅团（内3个旅团为1944年2月1日新括编的部队）。此外，3月31日始，日军第37师团、独立混成第7旅团分别由山西运城和山东张店、博山到达开封以东地区集结；第62师团由山西榆次、第110师团由河北石家庄、战车第3师团由包头、独立步兵第9旅团由天津、第27师团由锦州，先后集结于郑州黄河以北地区。这样日军总兵力已达近20万人。到4月上旬，黄河大铁桥修复完成。参战日军在河南新乡和开封一带集结到位。
早在41年10月第二次长沙会战时，日军"华北方面军"为策应第11军作战，即以第12军的第35师团于10月2日强渡黄河，进攻郑州。第一战区沿黄河南岸虽有12万大军，并筑有相当坚固的防御工事，但日军当日即突破守军阵地，渡过黄河，4日即攻占郑州。直到10月31日国军第三集团军孙桐萱部收复郑州，日军方撤回黄河以北。撤退时，为便于尔后再次进攻，除留置一部兵力据守中牟县城外，在第一战区第一线阵地要点霸王城附近的邙山头，派2个步兵大队与1个炮兵大队构筑了坚固的桥头堡阵地。两年以来，第一战区多次向此孤悬于黄河南岸的这个日军桥头堡进攻，均未果。起初的41年10月底到12月一个半月时间里，第四集团军（总司令孙蔚如）反攻霸王城桥头堡阵地，反复攻击三十余次。特别是反攻霸王城一战，国军冒着密集的炮火，前仆后继，连续冲锋，阵亡官兵的遗体遍布于日军阵地前的山坡，战况甚为惨烈。但因霸王城地势险要，加之黄河北岸日军炮火疯狂压制，缺乏重火器和空中支援的国军久攻不克，不得不挖壕固守，长期监围。 一直对峙至这次作战。所以在战前会议上第36集团军李家钰司令所提“既然要打，不如先发制人”，率先攻打邙山桥头堡的建议未被蒋鼎文和汤恩伯采纳似也情有可原。不过这样以来，国军再无主动进攻和取胜的机会。
战役之前，第一战区共有8个集团军，分为两个指挥所，即战区司令长官蒋鼎文上将位于洛阳的基本指挥所和战区副司令长官汤恩伯位于河南叶县的指挥所，各辖4个集团军，总兵力40万人。另除一战区外，在战区境内还有战区副司令长官兼鲁苏豫皖四省边区总司令汤恩伯部所属，大多由汤恩伯组建、扩编的地方部队和民团有20万人之多，这些部队与一战区的八个军兵力相加，就有60万之众。只是汤的这部分人比较复杂，它不是正规部队，所谓在溃败阶段河南农民缴国军的枪，以及“水旱蝗汤”的汤，就是这部分人创造出来的“业绩”。四省边区总司令部并不在河南，而在安徽的临泉，这才是汤恩伯的老窝。
4月17日战役开始。日军仍故伎重演，第27师团在洛阳河岸向对面中国军队开火，组织佯攻。
早在日军大量集结并修复黄河铁桥时，蒋鼎文就判断日军可能南进，遂以汤恩伯4个集团军（第15集团军何柱国、第19集团军陈大庆、第28集团军李仙洲、第31集团军王仲廉）沿黄河南岸，由汜水经柴桥，再改沿新黄河西岸，经中牟以西尉氏、林沟、周家口及其以东河防，面对黄河铁桥、中牟方面部署防御，准备由正面迎击沿平汉路南进的日军。第一战区其他4个集团军（第4孙蔚如、第14刘茂恩、第36李家钰、第39集团军高树勋）及第40军，则由战区直接指挥，沿黄河南岸，东起牛口峪，西迄闵底镇，占领河防阵地，与第八战区右翼衔接。而当洛阳一打响，蒋鼎文不知是计，所辖呈一字长蛇阵布署的第4、第14、第36、第39四个集团军的注意力立刻被成功吸引，在军委会“速解洛阳之围”的电令下，下令四个集团军迫近洛阳。而4月17日夜，日军第37师团及独立混成第7旅团却从三王、中牟、傅庄强渡新黄河，猛攻汤恩伯防线。
如果军委会不催蒋鼎文调兵，蒋亦不上日军调虎离山的当，此战结果或可改写。但实际战事如此，无法更改。
防守毕口（周家口北侧）至牛口峪间黄河南岸及新黄河西岸之线约100公里正面的部队为第28集团军（附泛东挺进军）。其兵力部署为：泛东挺进军担任毕口、柴桥间沿新黄河西岸之守备，控置有力一部于鄢陵附近，准备策应中牟、郑州、许昌方面的作战；暂15军以暂27师担任柴桥、后陈间沿新黄河西岸的守备，新29师防守许昌，并以第86团为军预备队，控置于新郑附近；第85军（附暂1旅）以暂1旅、预11师及第110师的第329团担任后陈、牛口峪间河防及邙山头监、围任务，第23师控置密县附近，为机动部队，第110师（欠2个团）防守郑州及后陈至包河桥间河防，第110师的第328团为军预备队，控置于荥阳附近。
守军暂27师奋起应战。本以为是百余名日军，但实际上是第37师团全部和独立第7旅团近三万人日军精锐杀至。所以战至18日凌晨5时许，正对中牟的暂27师第2团阵地被突破，暂27师被迫南撤。日混成第7旅团遂由傅庄渡河，占领界马，并沿新黄河西岸向泛东挺进军柴桥阵地进攻，第37师团则分路向郑州、新郑、洧川、尉氏进攻。
19日拂晓，担任郑州挺进队的日军第22联队先遣第1大队（欠第4中队），即以急行军秘密进至郑州车站，并偷袭成功，占领了郑州北门附近城墙一角。日军第37师团主力及混成第7旅团亦于19日晚进至尉氏以北。守军暂15军遂突围南退，至薛店集结整顿。
铁路桥方面日军第12军主力在中牟方面日军开始进攻后，乘守军注意力集中于中牟方面之机，于18日夜利用夜色掩护，逐次经黄河铁桥潜至南岸邙山头桥头堡阵地，接近攻击准备位置。为解除南进时的侧背威胁，进攻开始前一日（1944年4月19日）晨，第110师团第163联队的第2大队在猛烈炮火掩护下，向邙山头西侧高地上的国军汉王城据点发动猛攻。守军预11师1个营奋起抗击，激战至中午前后，阵地全被摧毁，营长王鑫昌以下300余人全部英勇牺牲。
守军第85军当即令预11师控置的预备队第33团向汉王城反击，同时令军工兵营增援摩旗岭，令特务营增援牛口峪，以加强防守力量。但由于日军后续部队不断增加，反击部队伤亡极重，团长余子培身负重伤，反击失利，摩旗岭高地亦于当夜失守，守军第110师撤向乐阳。
摩旗岭高地失守后，日军邙山头右侧已无顾虑，守军炮兵失去设于该高地的观测所，炮火威力无从发挥，战局更加不利。20日，守军第85军奉令向塔山、万山地区撤退。日军第62师团趁机沿平汉路及其西侧地区直趋郑州，第110师团则向密县突进，战车第3师团及独立步兵第9旅团等均于20日拂晓进至黄河南岸。此时国军抵挡不住以装甲坦克为先导的日军主力，尸横遍野。郑州守军于21日弃城而逃。