抗日战争初，中国共产党秘密在大村组建抗日自卫团 (后部分改为乡分队或游击小组)。1940年5月，抗日先锋队游击小组和自卫团的骨干统一编成民兵。1944年5月， 沂源县建立后，县大队、独立营、区中队相继成立。解放战争时期，民兵组织遍及全县，由县人民武装部统一领导。1947年调集全县民兵武装组成工作队 (鲁山大队)。
新中国成立后，民兵制度逐步健全，做到组织、政治、军事三落实。1953年全县普遍建立民兵班，设立基干民兵团。1958年10月，本县开展大办民兵师活动。10月27日， 民兵师发展到20个团125个营，有民兵89206名，其中女性民兵36299名。1966年“文化大革命”开始后，民兵组织建设和军事训练受到严重干扰和破坏，民兵工作一度中断。1981年3月9日，根据中央调整民兵组织的方案，对全县民兵组织进行全面调整和整顿，缩小民兵组建范围，简化了层次，调整民兵年龄，并把民兵制度同预备役制度结合起来，把平时的民兵工作和战时兵员动员结合起来，落实兵员动员对象2075人。普通、基干、武装基干民兵，改为基干和普通民兵。1984年，基干民兵年龄要求在28岁以下，复退军人中的技术兵到35岁，普通民兵35岁以下，未经过军事训练的不准编入基干民兵。 1990年全县有民兵51597人，其中，基干民兵6400人，普通民兵45197人。