民兵组织始于抗日战争时期。1942年，中共山东分局、山东军分区发表了《为发动人民武装保卫家乡告同胞同志书》，并发布了《人民武装抗日自卫团执行条例》和《人民武装抗日委员会暂行组织条例》，正式确定青抗先、基干队、游击小组统称为民兵。主要任务是除奸反特、维持社会治安、传递情报、转运物资、掩护伤员、护送干部、配合主力部队反“扫荡”，保卫抗日根据地。
解放战争时期，解放区各村建有民兵中队、分队、小队。设中队长、分队长、小队长。乡里设民兵乡队部，区里设武委会或武装部，直接掌握和领导各乡、村民兵队伍，并隶属于县武委会或武装部领导。主要任务是参加和保卫土地改革运动，剿匪反霸。镇压地主复辟活动，巩固农村政权，反蒋保田，参军参战，支援前线。
建国后，加强民兵工作的建设与领导，凡年龄18-35岁，政治可靠，身无残疾的青壮年，均组织到民兵中。1985年，实行全民皆兵，大办民兵师。除地、富、反、坏、右分子外，凡16-45岁的男性公民和16-35岁的女性公民全部参加民兵。县建民兵师，公社建民兵团，管区建民兵营，村建民兵连。民兵按年龄、性别不同分别编入普通民兵、基干民兵、武装基干民兵组织。1962年毛泽东主席发出了“民兵工作要做到组织、政治、军事三落实”的指示，普遍落实民兵制度。社会主义建设时期，民兵主要任务是参加社会主义建设，担负战备值勤，维护社会治安，随时准备参军参战，保卫祖国。“文化大革命”中，民兵工作没有得到落实。1981年10月，全县民兵分两批先后进行全面整顿。缩小组，建范围，压缩民兵年龄，简化组织层次，严格民兵条件，并且把民兵制度和预备役结合起来。通过调查，民兵年龄男性由过去16-45岁改为18-35岁，基干民兵为18-28岁。女民兵只吸收未婚青年，按基干民兵人数10%适当选编。民兵由普通民兵、基干民兵、武装基干民兵三个类别，改为普通民兵和基干民兵两个类别。基干民兵为一类预备役，普通民兵为二类预备役。机关、学校、科研单位、街道和其他事业单位，平时不建立民兵组织。从县到村形成了一套完整的民兵体系，成为一支强大的后备武装力量。