各抗日根据地和游击区建设方兴未艾，分散于各地的游击队在战略上尚未形成统一的领导和指挥，在部队编制上差异也比较大，不能适应抗战形势发展的需要，在全省范围内组建一支统一编制、统一指挥的游击兵团势在必行、刻不容缓。1938年4月，毛泽东等在《对平原游击战指示》的电报中要求“应即在河北、山东平原划分若干游击分区，并在军区成立游击司令部，有计划有系统地去普遍发展游击战争”，并在6月进一步指示“凡属我党领导，已得广大民众拥护，又邻近友党友军之游击队，以用八路军名义为宜”。12月上旬，中共中央将苏鲁豫皖边区省委改为中共中央山东分局，27日，八路军山东纵队在沂水县王庄正式成立，统一指挥山东各地共产党领导的抗日武装，所属部队2.45万人，另辖地方武装1万余人。各地分散的游击队真正成长为战略上统一指挥的游击兵团。