1939年3月，为适应抗日战争已进入战略相持阶段的形势需要，加强对山东抗日根据地的领导，
统一军事指挥，八路军总部和中共北方局向党中央提出派徐向前、朱瑞到山东工作的建议，得到了中
共中央的批准。5月4日，中共中央北方局根据中央书记处的决定，发出了组建八路军第一纵队等通知。
时任中央军委委员、八路军一二九师副师长的徐向前，于6月初由河北省威县南行，6月29日到达沂蒙
山区沂南县的代庄，与中共山东分局、八路军山东纵队领导人郭洪涛、张经武、黎玉会合。随同徐向
前、朱瑞来沂蒙的有王建安、罗舜初、谢有法、刘子超、李竹如、袁也烈、张雨帆等。第二天，徐向
前和朱瑞在代庄听取郭洪涛等关于山东情况的汇报。此时，正值日本侵略军对鲁中地区实行第一次大
“扫荡”。这次“扫荡”从6月1日开始，日军2万多人从津浦、陇海铁路合击沂蒙山区。驻守在莒县、
蒙阴、沂水等地的国民党军队一触即溃，徐向前和朱瑞全力投入指挥反“扫荡”的斗争中。至7月中
旬，反“扫荡”胜利结束。
8月1日，八路军第一纵队在沂（水）蒙(阴)地区正式成立，徐向前任司令员，朱瑞任政委，统一
指挥山东、苏北境内的八路军各部队。当天，徐向前在沂水县诸葛村召开的庆祝“八一”建军节和反
“扫荡”胜利大会上讲话，结合沂蒙反“扫荡”情况，介绍了冀南平原游击战的经验，强调八路军支
持沂水县抗日军民的斗争，支持新建立的抗日民主政权。8月9日，山东军政委员会成立，朱瑞任书记，
徐向前、罗荣桓、郭洪涛等任委员。8月23日，徐向前亲自部署山东纵队第一、三、四支队各一部，
在鲁中淄河流域发起反顽战役。经5天激战，连克淄川、博山以东的峨庄、太河、朱崖等地，毙伤国
民党军事委员会别动队游击第五纵队司令秦启荣部顽军600余人，缴获枪支2000余。9月中旬，中共山
东一区党委第一次党代会在沂南县岸堤召开，徐向前当选出席中共第七次代表大会代表。当时，国民
党苏鲁战区总司令于学忠倾向联共抗日，徐向前便前往其驻地费县上冶、薛庄一带和于学忠谈判。谈
判的中心内容是抗日根据地的政权问题。于学忠不同意八路军搞政权，徐向前反驳说：“你的政权，
一不给我们粮款，二不给我们枪弹，连薪饷都不给。我们没有政权，吃饭问题都解决不了，还怎么坚
持抗日?”经过两个多小时的交谈，最后于学忠默认了徐向前的要求。为做好抗日统一战线工作，徐
向前和国民党山东省主席沈鸿烈进行了面对面的斗争。沈鸿烈反复要求徐向前限定八路军在山东的游
击队人数、划定占领地及防区。徐向前反问沈鸿烈：你们在山东的部队限额是多少?你们的防区划在
什么地方?使沈无话可答。此后，沈鸿烈总是躲着不与徐向前见面。10月，山东纵队第三支队司令员
杨国夫到沂南县马牧池八路军第一纵队驻地汇报工作，徐向前提出：第三支队应坚持发展平原游击战
争，向小清河以北发展，建立清河区抗日根据地。11月上旬，原山东抗日军政干部学校(岸堤干校)并
入八路军第一纵队随营学校，徐向前兼任校长。他在沂南县栗林村举行的该校开学典礼上，要求学员
认真学习八路军的优良作风，发扬艰苦奋斗精神，为驱逐日本帝国主义出中国，为建设新中国而努力
奋斗。12月11日，《大众日报》发表徐向前在鲁南干部大会上的报告提纲--《粉碎敌人的新扫荡与我
们的紧急动员工作》。他分析敌人“新扫荡”的特点，提出必须广泛深入动员以及在军事、政治、统
战等方面需要做好的几项工作。
1940年元旦，《大众日报》发表徐向前与该报记者煤渣的谈话--《精诚团结与开放民主》。他强
调坚持、巩固和扩大抗日民族统一战线的重要性，要求国民党苏鲁当局彻底纠正反共、限共政策，清
洗投降派，彻底开放民主，团结一切抗日力量，共挽危局。1月24日，徐向前、朱瑞、张经武、黎玉
电示山东纵队各支队、各军区，确定2月到5月为山东纵队第三期整训期。此期间，徐向前在《山东纵
队建设任务及工作》中，提出部队建设实行“九化”的方针，即主力兵团正规化、地方武装基干化、
游击队组织化、自卫团普遍化、党的领导绝对化、战斗力顽强化、行动积极化、生活艰苦化、纪律严
肃化。他集中精力抓部队的质量、数量和物资供应等问题，并根据实战要求，在抓好野战部队扩编的
同时，普遍建立了自卫团、游击队，健全工兵、侦察、通讯和骑兵等配属单位，使部队一步步走上正
规化。在抓部队军需供给时，徐向前号召大家因陋就简，办起了兵工厂、被服厂，基本解决了武器修
理、弹药制造和被服问题，既保证了部队的供给，又减轻了群众的负担。
3月16日清晨，日军300多人、伪军200多人向沂南县孙祖一带进犯，妄图袭击中共山东分局和八
路军第一纵队指挥机关。在徐向前指挥下，山东纵队第二支队、山东纵队特务营第九连、山东纵队第
五支队交通营等，在孙祖以南九子峰伏击敌人。激战两日，击毙日军指挥官小林以下120多人，伤70
余人，缴获骡马25匹、步枪30余支及大批作战物资，并乘胜攻克铜井日伪据点。战后，徐向前发表题
为《孙祖战斗的检讨》的总结讲演。4月16日，于学忠致电徐向前、朱瑞：“贵部屡次袭敌，多有斩
获，殊堪嘉慰。”
在山东军政委员会的领导和徐向前的努力下，山东纵队不仅在质量上有很大提高，而且数量上也
有很大发展。1939年6月他入鲁时，部队为2.5万人，此时主力部队和地方基干部队已达到5.1万人(尚不
包括拨给兄弟部队的3.2万人)。6月初，徐向前奉调从沂南县青驼寺启程赴延安，准备出席中共第七次
全国代表大会。