山亭区民兵始创于抗日战争初期，当时广大群众在党的“团结起来，一致抗日”，“有钱出钱，有枪出枪，有力出力”，“誓死不当亡国奴”等口号感召下，纷纷组织起来进行抗日活动，在1938年初，中共苏鲁豫皖边区特委，遵照党中央洛川会议精神，发动组织了苏鲁边区抗日武装，5月苏鲁人民抗日义勇队第一总队在滕峄边山区建立，对民兵组织工作奠定了基础，在北庄、西集、冯卯、善堌等地相继建立了抗日自卫团、农救会、妇救会、抗日先锋队。1940年冯卯成立区中队，民兵达800多人。1941年中共滕峄边工委领导下建立了县大队，尔后，北庄等地建立了民兵基干队。1942年初，根据斗争形势，广泛建立基层人民抗日武装，至年底，山亭区境内65%的乡村建起了民兵抗日小组和民兵基干队，当时四个区都组建了区中队。到1943年4月区境内民兵发展3450多人，同时，中共山东分局，山东军区发出指示，要求大力发展民兵（占人口的5‰）实行武力和劳力相结合的方针。当时县委成立了人民武装委员会，加强对各级民兵组织的领导。1944年4月，双山县各乡村在双减获得胜利的基础上，对民兵进行大整训，年底区境内建立民兵联防队75个，经常配合主力部队打击敌人。1945年8月，日本投降，山东省政府颁发《山东民兵工作条例》对民兵在反攻中的任务作了规定。为配合主力部队作战，区境内1000多名民兵组成“子弟兵团”、“服务队”，跟随主力部队作战。至年底，区境内建立不同类型民兵组织200多个，参加民兵6120多人。1946年7月，国民党在美帝国主义支持下，向解放区发动全面进攻，麓水县（双山县改称）民兵组织在党的指挥下，同反动派进行英勇斗争，取得了胜利，但民兵付出了一定牺牲。1948年冬区境内全部解放，民兵组织得到较大发展，区境内民兵有16500多人。此时民兵中心任务是：开展土地革命，反奸、反特和恢复生产，维护社会治安工作。1949年，民兵组织实行县编大队，区编中队，乡编小队。据1950年统计，白彦县（1947年10月建立，辖山亭区境内大部）有民兵县大队一个，民兵中队14个，民兵小队500多个，基干民兵4419人，其中女民兵292人。1951年民兵组织分为普通与基干民兵两部分。至年底，区境内民兵发展到15600多人，其中基干5750人。1952年11月，中央颁布《民兵组织暂行条例》用法律形式把民兵制度固定下来，90%以上年满18至40岁的男性公民都参加了民兵。至1953年区境内共发展民兵30000多人。并开始在民兵组织中制定了会议汇报，出入转队，训练、武器保管等各项规章制度。1953年8月，麓水县和白彦县相继撤销。至1962年6月，齐村区建立，同时建立武装部，统一领导全区民兵工作。1963年，根据中共中央、国务院公布的《民兵工作条例》，齐村区民兵工作重点抓了民兵组织落实，将身体健康16岁至45岁的男性公民和16至35岁的女性公民编入组织。其中16至30岁的男性青年和16至25岁的女性青年编入基干民兵。本着有利于生产、生活，方便领导、便于平时活动，战时快速动员的原则，到1965年，齐村区组建民兵师1个，民兵团16个，民兵营32个，民兵连312个，民兵总数为51275人。其中基干民兵34160人。1966年，“文化大革命”开始，区境内民兵组织陷于瘫痪状态。1970年后，民兵组织日趋健全，民兵分为普通、基干、武装基干民兵三种。到1977年区境内民兵总数为61681人，其中基干民兵34798人，武装基干民兵4784人。粉碎“江青反革命集团”后，1978年中央召开全国民兵工作会议，并颁发新的《民兵工作条例》，中共十一届三中全会后，民兵工作逐渐进行了改革。1981年，为加速社会主义建设和减轻人民负担，中央下发（1981）11号文件，对民兵组织进行调整。党政机关和事业单位不建基干民兵组织，只在厂矿企业有符合民兵条件的男性职工30人以上的单位建立民兵组织，本着有利于领导、活动、执行应急任务因地制宜地进行组编，以生产大队编民兵连，公社（乡）编基干民兵营，区（县）编基干民兵团，并实行民兵与预备役相结合的体制，民兵分基干民兵（一类预备役）、普通民兵两种，不再单编武装基干民兵。民兵的年龄为18岁至35岁，其中28岁以下退役士兵和受过军事训练的人员，以及选定参加军训人员，编为基干民兵，其余为普通民兵；女性只编基干民兵，人数不超过基干民兵总数的10%。调整后区境内民兵团1个，民兵营16个，民兵总数26741人，其中基干民兵5100人。1983年11月，组建为山亭区，武装部随更名为山亭区人民武装部，民兵组织由原来16个营调整为15个民兵营。1985年中央下发文件，对民兵组织建设提出“减少数量，提高质量，抓住重点，打好基础”的要求。山亭区根据要求对民兵组织进行调整，压缩民兵数量，加强了民兵专业分队，至1987年底，全区基干民兵3635人，民兵营15个，基干民兵连22个，基干排105个。