徐州是华北、华东和中原的战略枢纽，历来成为兵家必争之地。日军通过台儿庄之战，发现中国第5战区在徐州集结有重兵，认为是捕捉中国 队的大好机会，其大本营在台儿庄作战结束的当天----4月 7日，即发出徐州会战的命令，以华北方面军的第5、第10、第14、第16、第l14，华中方面军的第3、第9、第13等8个师一团一另5个旅一团一约24万人，在航空兵一团一和海军航空队的配合下，南北对进，包围徐州。
这时，中国第5战区拥有 l1个集一团一军64个师约45万人，部署在淮河及陇海、津浦路以徐州为中心的地区。5月上旬各路日军开始行动，中国军队虽进行了激烈抵抗，但未能阻止日军攻势。到 5月 15曰前后，南路日军进至徐州西南的永城、萧县附近，北路日军占领徐州以东的新安镇、宿迁和徐州以西的肠山等地，并以一部从濮阳南渡黄河，占领兰封，构成了对徐州的合围。第5战区司令长官李宗仁为摆脱被动，保存军力，于 5月 15日下令撤退，主力有计划地转移到豫皖山区，留一部兵力在鲁南、苏北进行游击战争。5月 19日，日军占领徐州，以第 10、第 16师一团一沿陇海路向西追击，以第14师一团一在兰封截击，有夺取郑州企图。6月初，西进日军连下杞县、通许、开封等地。
中国最高军事当局为挽救危局，经蒋介石批准，竟采取以水代兵的办法，于 6月 9日炸开郑州以北黄河花园口大堤，使汹涌黄水改道向南，淹没陇海路，经贾鲁河、颖河流入淮河，造成大范围河水泛滥，使豫皖苏边境40多个县尽成泽国。滔滔黄水虽阻止了日军西进，迫其后退，但也使上千万百姓流离失所，几十万人或葬身水底，或死于饥疫，并造成购害几十年的黄泛区。