到了1944年4月初，日军华北派遣军集结了27师团、62师团、110师团、坦克第3师团团、独立步兵第九9旅团，集结在新乡南的黄河北岸；
37师团、69师团、独立混成第3旅团、独立混成第7旅团、骑兵第4旅团集结在开封地区；
同时日军第11军下属的独立步兵11旅团也由信阳向北进攻。
并且还有63师团等部队还在不断集结中。
这些部队中，27师团是从关东军中抽调，110师团之前和43军在井陉周围有过交手。69师团和62师团是从山东战场抽调，坦克第3师团团就是从包头溜走的那支坦克部队。
而并且这次作战的统帅是非常了解中国、被称为陆军名将的的冈村宁次。
这次日军明显指向河南，让在太原的阎锡山等人都松了一口气，不过却让驻守晋东南的李志坚不敢掉以轻心。
冈村宁次为了防止晋绥军出战，让第27师团集结于新乡以西之博爱、沁阳地区，暂时堵死通过太行陉出山西的道路。
李志坚不敢确定日军此举是不是搂草打兔子，是想要顺便解决他，还是单纯想阻止晋绥军出山西参与到之后的作战中。李志坚不管日军什么意图，面对日军这次空前集结的兵力，赶紧将暂编39师调回了晋城。
整个第八集团军都在晋东南严阵以待，石作衡的33军也遵照阎锡山的命令上了中条山，密切监视豫北的日本大军。
第一战区在发现日军大规模集结，修复黄河铁桥时，同样察觉日军的企图后，为此，以一战区司令长官蒋鼎文、副司令汤恩伯为首也进行了一定的准备。
一战区司令部原本是想直接撤退到豫西山区，但是这样相当于将半个河南拱手让与日军，成了不战而逃，受到重庆军委员的严厉斥责，最后只能重新制定作战计划。
一战区在新的作战计划中准备了三道防线，在汜水、广武、郑州、中牟、尉氏河防一线设置第一道防御线，即以郑州为中心展开的防线；
许昌、遂平等平汉铁路沿线地区为第二线，以许昌为中心；
密县、临汝、襄城、洛阳等纵深地区为第三线，西起洛阳，东到襄城。