滕县民兵始创于抗日战争期间。1939年2月，建滕县人民武装部(以下简称县人武部)，只有1名部长，未设办事机构。1940年羊庄、冯卯、望冢等区相继建立了民兵区中队，全县民兵已发展到2368人，枪968支，分布在215个村庄，后抗日根据地受到日、伪、顽的三面夹击，根据地缩小，民兵人数减少到2017人，为适应斗争的需要，1941年在抗日自卫团的基础上，抽调部分骨干分子组成青年抗日先锋队(简称青抗先)，配合部队和地方武装坚持反“扫荡”，反封锁、反蚕食斗争。同年11月建滕县人民武装动员委员会；次年6月，改称人民武装委员会(以下简称武委会)。
1942年8月以后，滕县民兵组织逐渐得到发展和巩固，到1945年8月日本投降时，各区均设区人武部，片设联防队，村设武装委员，全县青抗先基干民兵队达75个，民兵7413人，长枪1200余支。12月，滕县城解放，解放区扩大，在反奸诉苦、土地还家、武装保田、参军支前等运动中，村村成立自卫队，全县成立了百多个联防大队。1946年全县有民兵16947人，自卫队933个。
1947年，国民党军队重点进攻山东，滕县民兵组织遭受很大破坏，部分民兵被地主还乡团杀害。在白色恐怖下，有些民兵掩埋枪支四处躲避，大批民兵跟随解放军抬担架、搞运输、支援前线。1948年7月滕县再次解放后，民兵组织才逐渐恢复发展。1949年4月县人武部下设参谋股、政工股，有正副部长、各股股长、干事、会计、文书等8人，政治委员由县委书记兼。10月，全县民兵发展到31500余人，其中基干民兵878人。
新中国建立后，民兵组织发展很快，实行县编民兵大队，区编民兵中队，乡编民兵分队，村编民兵小队。民兵分为基干民兵、普通民兵和自卫队村既设民兵队长，又设自卫队长。1952年8月，全县实行了“普遍民兵制”，18岁至40岁政治纯洁、身体健康的青壮年均参加民兵，其中18岁至25岁的为基干民兵，其余为普通民兵。到1953年，全县民兵发展到49272名。
1951年6月，县、区人武部正式列人军队序列，干部由现役军官充任。1954年6月，县人武部配专职政治委员。10月，县人武部改称兵役局，下设动员、征集、统计、预备役军官和民兵等科。1958年6月，整编为征集、退伍、民兵预备役和预备役训练三个科。翌年11月，又将三个科整编为组织动员科、参训科和政治工作科，每科设正副科长各1人，助理员5至6人。1960年9月，县兵役局又改为县人武部。1961年10月，改参训科为训练科。1980年4月，训练科和组织动员科合并称作训动员科，增设供应管理科，政工科不变。
1953年2月，中共滕县人民武装委员会重建，县委、县政府、县人武部、县公安局、县粮食局、县交通局、县卫生局、县总工会、团县委、县妇联等部门的负责人为武装委员会成员，县委、县政府和县人武部负责干部分别任正副主任委员。1954年9月，县兵役局成立后，武委会改称兵役委员会。1960年9月，兵役局撤销后，恢复武委会名称。“文化大革命”期间，武委会被“砸烂”。1978年重新成立。以后，武委会随县委、县政府的换届，进行调整充实。
1955年至1958年初，按照民兵与预备役合二为一的原则，进行整组，全县民兵编399个中队、184个分队、4423个基干小队、4325个普通小队。1958年9月，毛泽东主席发出了“全民皆兵，大办民兵师”的指示后，民兵人数大量增加。凡16岁至50岁的男女公民均编入民兵组织，17岁至35岁的男性、18岁至22岁的女性、40岁以下的复退军人为基干民兵，并从中挑选18岁至25岁(复员军人30岁以下)的男性兵员组织不脱离生产的野战预备兵团，其它全部编入普通民兵。县设民兵指挥部，统率全县民兵师、团。县长兼指挥长，县委书记兼政委。同时，县还组织一个野战兵团，作为应付战争的第一线预备力量。兵役局长兼团长。全县共编14个民兵师、辖61个民兵团。1961年1月，全县成立2个野战民兵步兵团，一个野战炮兵团。1962年6月，全县缩编为8个民兵师，辖5个民兵团。1964年9月，全县民兵为1个师、34个团。1981年，全县按照减少数量、提高质量的原则，对民兵组织作了较大调整。党政机关和其他事业单位，不建立基干民兵组织。城市厂矿企业和财贸系统的基层单位，只在有适合民兵条件的男性职工30人以上的单位建立民兵组织。农村以生产大队为单位编民兵连(个别大的编营)。公社编基干民兵营。县编基干民兵团。基干民兵要求男性为18岁至28岁，女性为18岁至23岁，女基干民兵人数为基干民兵的10－15％；普通民兵不编女性，要求男性29岁至35岁。1985年后，县为民兵团，下辖23个民兵营，67个民兵连。
滕县人民武装部政委、部长名录
┌───┬──────┬───────┬───────┐
│姓名 │职务 │任职时间 │备注 │
├───┼──────┼───────┼───────┤
│生碧泉│部长 │1939.2-1939.8 │ │
├───┼──────┼───────┼───────┤
│朱慕唐│武装委员 │1939.8-1941.11│滕东县 │
├───┼──────┼───────┼───────┤
│王守银│武装科长 │1941.11-1943.6│滕峄边县 │
├───┼──────┼───────┼───────┤
│肖长桃│部长 │1942.6-1943.6 │费滕实验县 │
├───┼──────┼───────┼───────┤
│仲秀 │部长 │1945-1948.9 │双山县、麓水县│
├───┼──────┼───────┼───────┤
│王守银│部长 │1945.12-1946.2│ │
├───┼──────┼───────┼───────┤
│田奎荣│部长 │1946.2-1949·2│ │
├───┼──────┼───────┼───────┤
│顾广亭│副部长 │1948.9-1950.5 │麓水县 │
├───┼──────┼───────┼───────┤
│赵克吉│部长 │1948.4-1949.2 │凫山县 │
├───┼──────┼───────┼───────┤
│孔会东│部长 │1949.10-1951.8│ │
├───┼──────┼───────┼───────┤
│邱天乙│第一政委(兼)│1949.10-1952.1│ │
├───┼──────┼───────┼───────┤
│严雨林│部长 │1953.8-1954.10│ │
├───┼──────┼───────┼───────┤
│郑希孟│政委(兼) │1952.1-1954.10│ │
├───┼──────┼───────┼───────┤
│孔良民│第一政委(兼)│1953.11-1956.8│ │
├───┼──────┼───────┼───────┤
│关金玉│部长 │1954.6-1956.8 │ │
├───┼──────┼───────┼───────┤
│王玺勤│第二政委 │1956.9-1960.9 │ │
├───┼──────┼───────┼───────┤
│李国英│兵役局局长 │1956.9-1958.5 │ │
├───┼──────┼───────┼───────┤
│王吉德│第一政委(兼)│1957.7一1962.2│ │
├───┼──────┼───────┼───────┤
│刘德炳│兵役局局长 │1958.5一1960.9│ │
├───┼──────┼───────┼───────┤
│刘德炳│部长 │1960.9-1963.8 │ │
├───┼──────┼───────┼───────┤
│王玺勤│政委 │1960.9-1977.3 │ │
├───┼──────┼───────┼───────┤
│陈兆峰│政委(兼) │1962.2-1962.10│ │
├───┼──────┼───────┼───────┤
│张子亮│部长 │1963.8-1964.9 │ │
├───┼──────┼───────┼───────┤
│程怀仁│第一政委(兼)│1964.8-1965.9 │ │
├───┼──────┼───────┼───────┤
│张翠峰│部长 │1964.9-1970.9 │ │
├───┼──────┼───────┼───────┤
│王 │部长 │1970.10-1978.8│ │
├───┼──────┼───────┼───────┤
│吴瑞卿│政委 │1971.3-1976.8 │ │
├───┼──────┼───────┼───────┤
│孙振明│部长 │1977.3-1983.8 │ │
├───┼──────┼───────┼───────┤
│徐绍光│政委 │1977.3-1980.11│ │
├───┼──────┼───────┼───────┤
│翟文孝│第一政委(兼)│1979.3-1980.8 │ │
├───┼──────┼───────┼───────┤
│孙庆传│第一政委(兼)│1980.8-1984.3 │ │
├───┼──────┼───────┼───────┤
│张维新│政委 │1980.11-1983.8│ │
├───┼──────┼───────┼───────┤
│李玉坠│部长 │1983.8-1987.12│ │
├───┼──────┼───────┼───────┤
│秦安良│政委 │1983.8-1987.12│ │
├───┼──────┼───────┼───────┤
│段振方│第一政委(兼)│1984.3-1987.2 │ │
├───┼──────┼───────┼───────┤
│徐广景│第一政委(兼)│1987.2-1987.12│ │
└───┴──────┴───────┴───────┘