1937年，为贯彻洛川会议精神，武汉党组织派陶铸等党的领导干部深入鄂中及大洪山地区开展抗日工作。1939年2月，李先念率领新四军豫鄂独立游击支队，进入随南地区开展抗日游击战。

1939年11月，蒋介石在华中地区发动第一次反共高潮。整编后的新四军鄂豫挺进纵队在大、小悟山展开反“围剿”斗争，先后取得围山战斗、软脚岭战斗、平坝战斗等胜利，创立了随南白兆山根据地。纵队司、政两部及其直属单位——第一野战医院、抗大十分校、兵工厂、被服厂、挺进报社编辑部、印刷厂等，相继进驻随南白兆山中心地区洛阳九口堰一带。从此，九口堰成了鄂豫边区的指挥中枢。

1941年1月，皖南事变发生后，中央军委发布重建新四军军部的命令，鄂豫挺进纵队改编为新四军第五师，下辖3个旅和2个纵队，共1.6万余人，由李先念任师长兼政治委员。1941年4月5日，第五师全体将领于洛阳九口堰通电就职。4月10日，第五师领导机关、驻白兆山的第十三旅和第一纵队指战员，在九口堰孙家大湾前河滩上召开整编誓师大会。从此，第五师以随南白兆山九口堰为指挥中枢和后方基地，开展敌后抗日游击战争和反“围剿”斗争，部队不断发展壮大。