1944年7月，為了迎接全面反攻的到來和對付可能的國內突然事變，中共中央向全軍頒發了關于整訓部隊的指示。新四軍第二師兼淮南軍區，在擴大兵員的同時，于1944年冬至1945年春，利用路東比較安定的有利條件，集中主力于路西，開展轟轟烈烈的軍政訓練運動。同時廣泛發動群眾性的參軍活動。當華中日軍初顯疲勢時，淮南軍民不失時機地開展攻勢，進行了局部反攻。1944年春，新四軍第二師和地方部隊先后攻擊日偽據點38個。11月，日軍又兵分7路再次“掃蕩”路西根據地。新四軍第四、第五旅和路西軍分區部隊在譚震林指揮下，與敵激戰7晝夜，日偽遭重創后被迫撤離。12月，來六支隊在六合縣城北羊山頭，伏擊前往程橋換防的日軍1個小隊和偽首都警衛3師1個營，共計斃傷日偽軍120余人，俘偽營長以下173人，創造了淮南路東地方部隊一次殲偽軍一個營的先例。
1944年12月15日，毛澤東就1945年的斗爭任務號召各解放區軍民向日偽守備薄弱的地方進攻，消滅敵偽，擴大解放區，縮小淪陷區。淮南軍民從1945年起，加強了攻勢作戰，收復失地。1945年2月，新四軍第二師頑強反擊進犯路東高郵湖金溝地區的日軍。經過兩個月大小24次激戰；斃傷日偽軍少佐以下260余人，俘日偽軍529人。6月，路東軍分區獨立第四團攻克六合縣東溝鎮偽軍據點，全殲偽警衛第三師1個營．大大震動了南京日偽軍。在舉行軍事反攻的同時，對日偽軍展開廣泛的政治攻勢。1945年2月，駐津浦鐵路三界站的偽軍大隊長王占鰲整率部反正，被改編為嘉山抗日鐵路大隊。至1945年9月抗戰結束時，新四軍第二師兼淮南軍區已有主力3.3萬多人和地方武裝1.4萬人。