1937年后，随着共产党在嘉祥县的活动，民兵组织逐步建立起来。是年10月，曹志尚、曹麟周等爱国知识分子，先后动员了马村、孟姑集两处乡农学校拿出部分枪支，成立了抗日民族先锋队（简称民先队）。不久，民先队发展到30多人，20多支枪。这支队伍活动在汶上县的九、十区（现嘉祥县的马村、孟姑集、老僧堂、梁宝寺、大张楼一带）。
1938年初，以杨建用为首的黄垓一带的农民，为反抗日伪势力，自发组织了农民暴动，迅速发展到500余人。是年底，接受共产党的领导，正式成立了抗日游击队二中队。
1944年，嘉祥县第一个钢枪班在黄桥村成立。之后，全县各农会都相继成立钢枪班。到抗日战争末期，民兵组织发展到122个，民兵2402人。
解放战争时期，在中共嘉祥县委、县民主政府的统一领导下，民兵组织发展很快。到解放战争末期，全县有自卫队、游击队、钢枪班等民兵组织690个，民兵5万余人。
1953年，根据《民兵组织暂行条例》，整顿了民兵组织，全县乡村普遍建立了民兵班，县建立了武装民兵基干团。
1970～1985年嘉祥县民兵组织一览表
表 17—3
注：1980年前县建民兵师、基干团，各公社建民兵团、基干营；1981年调整后，县建基干团，各公社建基干营。
1958年，开展全党抓武装、全民皆兵的活动。各大队、企事业单位都建立了民兵连、营，公社建立了民兵团，县建立了民兵师。民兵人数占全县总人口的30％以上。大办民兵师以后，每年进行一次民兵组织整顿，总结工作，表彰先进，办理民兵出入转队，改选干部，健全组织。
1981年，本着减少民兵数量，提高民兵素质的原则，对民兵组织进行了全面整顿：缩小了民兵组织范围，压缩了民兵年龄，简化了民兵组织层次，取消了县编民兵师、社编民兵团。整顿后共有民兵60802人，占总人口的10％，其中基干民兵10083人（女593人），共组建1个基干团，20个基干营，13个基干连，226个基干排，929个基干班。
1985年，全县共有民兵60912人，其中基干民兵12302人。
