1938年初日军侵占汶上后，泗汶、北陶二村群众自发组成抗日自卫小组，联合守家护院、抵抗侵略。此为汶上县民兵组织的最初形式。后各村相继仿效，或称自卫队，或名打更队。1939年6月县抗日民主政府建立后，对各村群众组织进行了整顿，实行统一领导，统称自卫团。团内根据年龄成份不同，分为青年抗日先锋队、基干自卫队和游击小组等，积极开展抗日游击活动。1940年底，全县有自卫队员800余人，枪300余支。
1941年，日军推行“强化治安”运动，在军事上疯狂进行“扫荡”。各级党政组织遭到严重破坏，被迫转为分散隐蔽活动。民兵组织活动相对减少。
1943年，日军将主要兵力调往正面战场，县内日伪统治力量薄弱，民兵组织得以迅速发展。运河以西的韩岗、大屯、官庄、许寺、杨窑、管驿，运河以东的张坝口、崔庄、王带等30余个村庄陆续恢复民兵组织，并易名模范班。一般以村农会为单位编班。设班长1人，成员不限，归农会领导。枪支弹药经费从农会斗争果实中解决。参加模范班的必须是农会骨干，不受年龄限制。任务是保护农会，扰乱敌人，配合地方人民武装作战。至1945年，全县模范班发展至3000余人。
抗日战争胜利后，模范班改称民兵组织。在县武委会领导下，普遍进行了整顿，开展了反奸诉苦和练兵活动，战斗力大为提高。
1947年3月，国民党军队占领汶上。县内各区选拔优秀民兵骨干，组成武工队、联防队，坚持对敌斗争。民兵组织实行连、排、班建制。
1948年7月，汶上解放。民兵组织迅速发展。至1949年10月，增至7000余人。
1951年，根据全国人武工作会议精神，对民兵组织整顿划分为基干民兵和普通民兵。县设94个民兵分队部，下设181个中队和若干小队。计有民兵7300余人，其中基干民兵1070人。同年决定民兵组织每年整顿一次。
1952年12月，全国实行普遍民兵制。凡18～35岁符合民兵条件的男女青壮年，通过自报公议、群众审查、领导批准等手续均可编入普通民兵组织。另选拔18～25岁政治可靠、身体健康、家庭劳动力充余的青年和复退军人组建县民兵基干团。全县编普通民兵15347人，基干民兵4139人。
1957年6月，民兵和预备役合一。30岁以下的复退军人和18～25岁经过训练的民兵为基干民兵，服一类预备役：18～35岁未经过训练的民兵和30岁以上的复退军人为普通民兵，服二类预备役。是年，全县基干民兵3494人，普通民兵27456人。
1958年11月，开展“全民皆兵”、“大办民兵师”活动。汶上县以公社为单位建8个民兵师（后随区划变动有所变动），辖35个团，150个营，755个连，连下设排、班。总计139624人，其中基干兵37006人。基干民兵年龄为16～35岁（女姓22岁），普通民兵为36～50岁（男性）。
1960年3月，根据济宁地委指示，以基干民兵为基础，建野战师（团）和专业技术分队。县新编野战师1个，下辖8个团，有野战民兵5.68万人。同时新编工兵营3个，水兵营1个，通信营1个，侦察连7个，防化连7个，运输连1个，军械连1个。计有专业技术兵7331人。1961年，扩编至12239人。
1964年8月，根据省军区指示，撤销公社民兵师。县组建1个民兵师，下设16个团（以公社、县直机关为单位），有民兵118326人。
“文革”开始后，民兵组织遭到严重破坏。据初步统计，全县民兵排以上干部3328人，有1902人被打成“黑干将”，其中409人被夺权。1970年1月，济宁军分区召开战备会议后，各级民兵组织得以恢复。全县建民兵连587个（其中基干民兵连62个），总计128764人。
1970年4月，县建民兵独立团，下辖3个营，1个直属连，1个机炮排。共计3481人。
1972年6月，县建“801工程民兵团”，赴嘉祥参加国防施工。9月，组建“辛大铁路汶上民兵团”，支援辛大铁路建设。两团于工程结束后撤销。
1974年9月，县民兵独立团改为武装基干团，下设160个连。
1976年9月，为抗震救灾和落实战备，县组建抗震救灾民兵团1个，辖3个营，计1100人，1978年底撤销。
1981年1月，遵照中共中央（1981）11号文件精神，本着有利于经济建设，有利于战备原则，对民兵组织进行了调整。撤销县民兵师和武装基干团，缩小了民兵编组范围。普通民兵年龄为18～35岁，基干民兵年龄为18～25岁。民兵总数由162791人调整为56600人。全县编1个基干团、16个营，配备武器1642件。
1985年，根据中共中央（1985）22号文件关于“减少数量、提高质量、抓好重点、打好基础”的方针，重点加强了专业分队和基干民兵，减少普通民兵。1986年，全县有民兵51857人，比1981年减少8.2%。
第一节 组织
1938年初日军侵占汶上后，泗汶、北陶二村群众自发组成抗日自卫小组，联合守家护院、抵抗侵略。此为汶上县民兵组织的最初形式。后各村相继仿效，或称自卫队，或名打更队。1939年6月县抗日民主政府建立后，对各村群众组织进行了整顿，实行统一领导，统称自卫团。团内根据年龄成份不同，分为青年抗日先锋队、基干自卫队和游击小组等，积极开展抗日游击活动。1940年底，全县有自卫队员800余人，枪300余支。
1941年，日军推行“强化治安”运动，在军事上疯狂进行“扫荡”。各级党政组织遭到严重破坏，被迫转为分散隐蔽活动。民兵组织活动相对减少。
1943年，日军将主要兵力调往正面战场，县内日伪统治力量薄弱，民兵组织得以迅速发展。运河以西的韩岗、大屯、官庄、许寺、杨窑、管驿，运河以东的张坝口、崔庄、王带等30余个村庄陆续恢复民兵组织，并易名模范班。一般以村农会为单位编班。设班长1人，成员不限，归农会领导。枪支弹药经费从农会斗争果实中解决。参加模范班的必须是农会骨干，不受年龄限制。任务是保护农会，扰乱敌人，配合地方人民武装作战。至1945年，全县模范班发展至3000余人。
抗日战争胜利后，模范班改称民兵组织。在县武委会领导下，普遍进行了整顿，开展了反奸诉苦和练兵活动，战斗力大为提高。
1947年3月，国民党军队占领汶上。县内各区选拔优秀民兵骨干，组成武工队、联防队，坚持对敌斗争。民兵组织实行连、排、班建制。
1948年7月，汶上解放。民兵组织迅速发展。至1949年10月，增至7000余人。
1951年，根据全国人武工作会议精神，对民兵组织整顿划分为基干民兵和普通民兵。县设94个民兵分队部，下设181个中队和若干小队。计有民兵7300余人，其中基干民兵1070人。同年决定民兵组织每年整顿一次。
1952年12月，全国实行普遍民兵制。凡18～35岁符合民兵条件的男女青壮年，通过自报公议、群众审查、领导批准等手续均可编入普通民兵组织。另选拔18～25岁政治可靠、身体健康、家庭劳动力充余的青年和复退军人组建县民兵基干团。全县编普通民兵15347人，基干民兵4139人。
1957年6月，民兵和预备役合一。30岁以下的复退军人和18～25岁经过训练的民兵为基干民兵，服一类预备役：18～35岁未经过训练的民兵和30岁以上的复退军人为普通民兵，服二类预备役。是年，全县基干民兵3494人，普通民兵27456人。
1958年11月，开展“全民皆兵”、“大办民兵师”活动。汶上县以公社为单位建8个民兵师（后随区划变动有所变动），辖35个团，150个营，755个连，连下设排、班。总计139624人，其中基干兵37006人。基干民兵年龄为16～35岁（女姓22岁），普通民兵为36～50岁（男性）。
1960年3月，根据济宁地委指示，以基干民兵为基础，建野战师（团）和专业技术分队。县新编野战师1个，下辖8个团，有野战民兵5.68万人。同时新编工兵营3个，水兵营1个，通信营1个，侦察连7个，防化连7个，运输连1个，军械连1个。计有专业技术兵7331人。1961年，扩编至12239人。
1964年8月，根据省军区指示，撤销公社民兵师。县组建1个民兵师，下设16个团（以公社、县直机关为单位），有民兵118326人。
“文革”开始后，民兵组织遭到严重破坏。据初步统计，全县民兵排以上干部3328人，有1902人被打成“黑干将”，其中409人被夺权。1970年1月，济宁军分区召开战备会议后，各级民兵组织得以恢复。全县建民兵连587个（其中基干民兵连62个），总计128764人。
1970年4月，县建民兵独立团，下辖3个营，1个直属连，1个机炮排。共计3481人。
1972年6月，县建“801工程民兵团”，赴嘉祥参加国防施工。9月，组建“辛大铁路汶上民兵团”，支援辛大铁路建设。两团于工程结束后撤销。
1974年9月，县民兵独立团改为武装基干团，下设160个连。
1976年9月，为抗震救灾和落实战备，县组建抗震救灾民兵团1个，辖3个营，计1100人，1978年底撤销。
1981年1月，遵照中共中央（1981）11号文件精神，本着有利于经济建设，有利于战备原则，对民兵组织进行了调整。撤销县民兵师和武装基干团，缩小了民兵编组范围。普通民兵年龄为18～35岁，基干民兵年龄为18～25岁。民兵总数由162791人调整为56600人。全县编1个基干团、16个营，配备武器1642件。
1985年，根据中共中央（1985）22号文件关于“减少数量、提高质量、抓好重点、打好基础”的方针，重点加强了专业分队和基干民兵，减少普通民兵。1986年，全县有民兵51857人，比1981年减少8.2%。