据中央社郑州27日电：“盘据贯台之敌，自陈留口被我军克复后，无法接应，27日未敢继续渡河。”确凿证明此时黄河渡口应被国军占据。
27日晨，第20、51师先后攻克杨圪挡、梁圪垱一线。这时，国军背靠黄河大堤，51师居中，两边是新35师和20师，后由张灵甫率部接防。
日军为了与黄河北岸的日军建立联系，在飞机协同下，疯狂反扑。国军在这里展开血战，第51师团长纪鸿儒、第20师团长刘沣水先后阵亡，但坚守住了阵地。
至此，14师团经过十几日的激战，仅仅得到三天时间进行补给的黄河补给线就又被截断，陷入全面被包围的状态。到28日，土肥原只剩下曲兴集、三义寨等少数据点据守，内无补给，外缺援兵，炮弹食品用一点就少一点，自保或许有余，突围恐怕不足。日军动用飞机空投补给。然而空投补给的效率并不高，只能救一时之急。
第46师一部、第51师突击队加强了攻势，曾夜袭突入三义寨内，经一夜激战未能取得明显战果反而遭到日军反击，被迫退出战斗。而日军于5月28日向第27军阵地反击时，桂永清又一次独断命令各部队向杨固集、红庙间地区转移阵地，沿途抛弃无线电机及武器弹药，情形颇为混乱。
虽然桂永清又一次逃跑了，防线被撕开了一条大口子。但14师团并没能趁此机会突出包围圈，一则是程潜调整部署重新堵住了缺口，二则说明14师团的补给已经明显不足。14师团从一开始拥有的进攻性压倒性火力、接连击破国军多道防线，而后补给困难，攻击力逐渐降低或丧失，到了被包围在三义寨，曲兴寨一线时，各项补给已经不能支持14师团发动新的攻势，只能由攻转守。假如没有援兵，而战斗持续下去，14师团还能支撑多久？
而国军本来就没有什么重武器，补充起来比较容易和方便。
此时，国军完全可以一鼓作气，拿出血性和韧劲来坚持作战，彻底歼灭14师团已是指日可待。据程潜预计，再有两三天的时间，国军就能全歼土肥原部。
也许是天意该着，土肥原此时还命不该绝。关键时刻，第一战区得到如下情报：
第一，日军第1军司令官由香月清司中将更换为梅津美治郎中将。
第二，30日左右，由徐州西进的日军已加强了力量，而且黄河北岸的日军（混成第4旅团）正经封丘、贯台组织强渡。
第三，守商丘的第八军黄杰所部不战而逃。
这就让人费解了。在商丘及周边地区，为了阻止日军西进，同时策应兰封会战。由汤恩伯将军任总司令，第1战区以李延年将军第2军、黄杰第8军、李仙洲第92军、刘汝明第68军、冯治安第77军、庞炳勋第40军以及罗奇第95师、李英第24师等部组成的第2兵团，在砀山、商丘、夏邑、柘城、亳县、鹿邑、涡阳一线布防。其中，陇海线东段方面，第8军的柏辉章第102师守砀山；第8军罗历戎第40师、第64军彭林生第187师、第24师守归德（商丘）；原第三军的曹福林第55军1个旅守虞城。总兵力达20万。可谓重兵布防，就算日军攻势再猛，要想在短时间内完全突破上述部队防线也似乎不大可能。经汤恩伯临战点将，上述部队统由第八军黄杰指挥，担负着镇守商丘，并阻断兰封方面第14师团与第16师团会合的战略目的。
5月19日，日华北方面军司令部就下达了新的作战命令：计划占领兰封、归德（商丘）和永城一线。命令日军第2军“于19日分别命令第5师团及第114师团向徐州—宿县之间的津浦线追击，第16师团（混成第3旅团配属，3个旅团加强师团）攻占归德，第10师团（混成第13旅团配属，3个旅团加强师团）向永城方向急进”。日军的企图，是尽快向开封、郑州、许昌推进，为进行切断平汉线的作战做好准备。
5月21日，日军第16师团沿陇海线向西推进，所属混成第3旅团沿丰砀公路直扑砀山。至23日，日军连陷黄口、韩道口、牛堤圈，并将砀山团团包围。第1战区长官部命令柏辉章102师死守砀山。然柏辉章竟于是日晚擅自下令放弃砀山；率部逃往归德（商丘）。军长黄杰并未怪责，在发给战区司令部的电报中称：“敌增加之兵力数倍于我，并以炮空连合火力轰击砀城。原曾奉令该师须固守砀山，当即转令遵照，但自梗晚以来因城墙多被击毁，致敌迫近城内，发生激烈巷战，敌骑入而又被击出者数次，终以敌方增加不已，我方伤亡过重，遂被包围，随于敬（24日）丑（指凌晨1时至凌晨3时）突围。”
25日，日军挺进虞城、商丘。26日晨，其前锋3000余人猛攻虞城，而虞城，距其正西的商丘才19公里。
守虞城的仅曹福林55军的一个旅。可见第一战区长官部战役布署百密一疏，防守虞城的兵力太过薄弱。自4月台儿庄大战之后，李宗仁为提防原韩复榘的第三集团军兵力过于集中，有意将其兵力分为三股：孙桐萱的12军防守曹县、金乡兼及北黄河沿岸；新四师（原56军缩编）袭击济南策应徐州；而55军（辖29师、74师）主力据守藤县以北，派守虞城的只有区区一旅三千官兵。此次部署兰封会战，战区长官部并未调动孙部的师一级部队参战留下巨大隐患。果然，虞城守军未能有效抵挡日军攻击，日军经激战由城东缺口成功突入，守军遂向西北溃败。同日，日军又向商丘进攻。国军第187师、第24师依托韩信集、杨集、侯楼、孙集、丁镇集一线的国防工事固守商丘外围。当夜，日军突破侯楼、孙集阵地，国军退据第2线阵地。
商丘得失关系兰封会战的成败，因此，26日夜，国军退守商丘外围第二道防线，程潜急电严令汤恩伯指挥黄杰、刘汝明率部死守商丘、亳州之线；在兰封之敌未消灭前不得放弃。各部要相机夹击攻城之敌；并电令孙桐萱第3集团军策应。
虽然国军已退守商丘外围第二道防线，但战事尚未显露败迹。黄杰未按程潜和汤恩伯的命令执行。而是刚愎自用，贪功心切。按他的判断，虽然柏辉章102师丢掉了砀山，但区区一个日军16师团绝对不是国军第二兵团的对手。黄杰下了一盘最糟糕的棋。他天女散花般地将兵力分布于商丘至砀山一线，试图聚歼日军主力。其具体部署是：
（1）孙桐萱部曹福林军第29师迅速经虞城向牛堤圈之敌侧背攻击前进。刘汝明以一师固守会亭集、夏邑之线，对东南严密警戒，以一师向牛堤圈之敌，协同友军夹击而灭之，另以一师攻击砀山附近之敌。第24师以一部推进至虞城，主力向刘店沿铁路东进击破当面之敌。
（2）汤恩伯部队以一师即开商丘以南地区集结。
（3）其余各师均归黄军长杰统一指挥，歼灭该敌于商丘、砀山之间。
更让人预想不到的是：第二天拂晓（28日）黄杰率他第八军下属，罗历戎的第40师、第64军彭林生的第187师、第24师撤至柳河，并命令第24师退往开封；仅留第187师守备朱集车站和商丘。这些队伍中，数40师战斗力较强，前身是原来大名鼎鼎的税警总团，在淞沪会战打得很顽强，连师长孙立人也被打成重伤，是一支真正的功勋部队。可惜由于淞沪会战损失、伤亡太大，武器装备损失严重，也是依令中断在安徽的休整，在5月初被紧急调到河南作战。187师是刚从广东调来的，部队多是新兵。士兵大部在武汉刚刚领到枪，根本没有作战经验，战斗力很低。
24师更惨，是刚刚在徐州会战中退下的部队，损失过半，原本是被作为预备队使用的。即便如此，守卫商丘的应该是上述所有部队。身为前敌最高指挥官的黄杰错就错在，恰在战役最关键的时刻竟私率主力两个师撤出战斗，给整个会战造成严重恶果。
黄杰一走，就如兰封城桂永清将孤城交给龙慕韩一样，守军第187师亦毫无守城决心，师长彭林生又“督率无方”；其师参谋长张淑民，旅长谢锡珍、叶赓常“或煽动退却，动摇主官决心，或不战自退”。28日晨，日军便突入城内，并占领了朱集车站；彭林生经不住日军猛烈攻击，率残部于29日凌晨撤出商丘。
商丘的失陷，使围攻土肥原师团的薛岳兵团侧背受到极大威胁。兰封附近中国军队的攻势被迫停顿下来，同被围的日军第14师团进入对峙状态，土肥原师团得以死里逃生。28日，第1战区不得不抽出宋希濂第71军主力第87、第88师赴淮阳、太康、龙曲集；第27军主力第155、第58、第61师赴睢县、杞县、宁陵布防，以阻截由商丘、亳县西进的日军。
至此，兰封会战以失败告终。
战斗仍在持续。日军重新调整了作战部署，除第3旅团外，日军又将第13旅团和第10师团濑谷支队全部配属给第16师团，令其“从杞县方面击败第14师团当面之敌”。第16师团成超级精锐师团。16师团以一部沿陇海铁路向柳河、民权推进，主力以混成第3旅团为首，约4个联队；5月29日攻占宁陵，30日陷睢县。6月1日向杞县进攻，与李汉魂部展开激战，企图由杞县直指汴郑。
混成第13旅团由涡阳向亳县进攻，31日攻占亳县，并向鹿邑、柘城一线攻击前线，企图直下太康、扶沟、淮阳、许昌，彻底切断平汉线。而同时，被困于三义寨、曲兴集、兰封口之线的第14师团，在得到精锐第20师团（甲种）的补充后，亦于29日以全力向杨圪垱、梁楼、柴楼、兰封等处反攻，企图向西南突进，与第16师团一部会合；然后进攻开封。
此时，日大本营为避免扩大战线；对徐州会战以后的战事发展作出了限制。5月29日大本营下达了“越过兰封、归德、永城、蒙城、正阳关、六安一线进行作战，须经批准”的命令。可是，华北方面军并不理会上述限制；而于6月2日将第14师团配属给第2军，并下达了向兰封以西的追击命令。同日，日军第2军命令第14师团、第16师团、第10师团，分别向中牟、尉氏和柘城方面全线追击前进。6月3日，第16师团接连攻占了杞县、通许、陈留，其师团主力于4日晚攻陷尉氏、扶沟，并向郑州和平汉线挺进；其前锋炸毁新郑东南面约6公里的平汉铁路桥，切断了平汉线。6月4日，第14师团占领兰封，并会同第16师团一部合攻开封。
开封守军为宋肯堂第141师1个旅又1个税警旅。5日晨，日军又增援3000余人由白兰寨向北城进攻。敌重炮数十门、飞机10余架向开封城内猛轰，日军步兵多次登上城头；均被击退。
141师师长宋肯堂“连发5个电报，称开封城郊东、南、北各方战斗激烈，现敌尚陆续增加，如明日再战，难免于溃”，要求撤退，但程潜当即“严令该师与开封共存亡”。傍晚，宋肯堂擅自下令放弃开封，并率先逃出开封城。1938年5月6日凌晨，开封失守。
5月6日至7日黄昏，日军1000余人由开封进攻中牟；国军守军1个营顽强御敌，战至9日凌晨，全营500人壮烈殉国，中牟遂陷。
日军继续向郑州进逼，其骑兵部队于10日炸毁了郑州南面的平汉铁路；平汉铁路彻底被切断。
第10师团方面，也于6月3日攻占柘城，5日已进入太康附近地区。
面对越来越紧张的豫东战场形势，“为避免与西犯之敌决战，并保持尔后机动力之目的”，5月31日，蒋介石电令程潜对第1战区作战进行新的部署，全线停止进攻，将主力转移至平汉线以西地带。6月1日，薛岳抵达开封，按照程潜的电令部署兵团各军，其中以孙桐萱、商震等部分任郑州、开封的守备。从次日开始，奉命西撤的部队沿陇海线或黄河大堤。陆续行动。全军转入撤退。西撤部队在撤退的时候随之破坏或拆除陇海铁路路轨。
国军第1战区长官部下达的作战命令具体部署如下：
（1）以商震指挥第32军、第39军、新35师；万福麟指挥第53军、新8师；彭进之指挥第196师、第45师分任开封至郑州，黄河铁桥至汜水，汜水至张茅镇间黄河南岸守备，阻敌渡河南下。
（2）以商震军一部、孙桐萱军、张自忠军团、李延年军、陈大庆师、冯治安军、刘汝明军、罗奇师、梁恺师分驻开封、郑州、许昌、郾城、驻马店、周家口、淮阳、沈丘、商水，掩护豫东主力撤退，并以机动部队迟滞日军西犯。
（3）宋希濂军、胡宗南军团、李汉魂军团、桂永清军、黄杰军、俞济时军分别向禹县、郏县；汜水、巩县；密县；洛阳；襄城、叶县；泌阳转移。
但日军仍然不依不饶，尾追撤退的中国军队穷追猛打，誓要歼灭中国军队主力。
形势非常危急。还能有什么办法来迟滞日军凛厉的攻势呢？看来只能孤注一掷，扒开黄河大堤了