1940年12月，境内抗日根据地开始组建人民抗日自卫团(简称自卫团)，将年满16至45岁无残疾的男女公民按小队、分队、中队、大队的形式编组，村设村团部，乡设乡团部，区设区团部，县设县团部。其主要任务是站岗放哨、捕捉敌探、破敌交通、搬运伤员、配合部队作战。
1942年2月，自卫团人员年龄调为年满16至50岁。其中16至23岁的男子均参加青年抗日先锋队(简称青抗先)；24至35岁的男子加入自卫团或游击小组；36至50岁的男子均编入普通自卫团；16至50岁的妇女一律编入妇女自卫团。是年底，全区群众武装组织发展至787720人。其中普通自卫团261949人，妇女自卫团为384142人，青抗先为39426人，基干自卫团为85303人，游击小组为16900人。
1943年3月20日，胶东军区及各军区派出大批干部下乡，宣传、组织民兵。到6月底，民兵占全区总人口的4.5%，自卫团占全区总人口的19.8％。1944年春，胶东行署提出"党支部掌握武装，党员参加民兵"的号召，端正民兵建设方向。5月，将自卫团分为民兵和自卫队，撤销青抗先组织。1945年，抗日战争最后阶段，开始以民兵为主组织临时脱产子弟兵团，支援部队作战。9月底，全区民兵达22万人，自卫团达80万人。到1946年6月，全区民兵达33.6万。此后，大批民兵参加人民解放军。1947年民兵数量比1946年减少9.7万人。解放战争节节胜利，各县市相继解放，民兵组织逐步扩大。到建国前，全区民兵达50万人。
1952年7月至1953年上半年，由自愿参加民兵组织过渡到实行普遍民兵制，凡年满18至40岁身体健康的男性公民均要参加民兵组织。1957年，将民兵和预备役编为一体，30岁以下的复员退伍军人与18至25岁的青年组成基干民兵。是年，全区共有民兵615098人。
1958年9月，提出"大办民兵师"，实行"全民皆兵"后，农村、机关、学校、厂矿普遍建立民兵组织，16至35岁(女性至22岁)的青壮年编为基干民兵，36至50岁身体健康的男性公民编为普通民兵。年底，全区民兵增至201万多人。1959年，从便于生产、便于组织、便于活动出发调整民兵组织。农村党总支部建营，党支部建连，生产队建排，作业组建班，公社主任、生产队长不再兼任民兵干部，配备专职民兵干部。1960年开始，在基干民兵中挑选一部分编成武装基干民兵，组建炮兵、通信、侦察、防化、工兵、卫生等专业分队。
1970年，各县均建立民兵独立团。1974年1月改为民兵基干团。其中女性占武装基干民兵总数的20％，并单独编班(组)。1981、年，撤销县编的民兵师、公社编的民兵团和机关、学校民兵组织，只保留基干民兵和普通民兵。普通民兵年龄18至35岁，基干民兵18至28岁(女性为18至25岁，人数占基干民兵总数的10％)。同时，把民兵制度与预备役制度、战时兵员结合在一起。