1938年初，中共东平县工委书记万里，委员于林甫、强仁普和参加政训处的共产党员、“民先”队员，以政训员的身分赴备区组织自卫队，为建立民兵组织之始。
1939年4月，井仓村农民，首先建立抗日游击小组，共24人，步枪8支，侯阁臣任组长。继之各区也以共产党员为主建立游击小组，每区20人左右。游击小组的任务是打击、困扰日伪军，保卫乡、村抗日政权，维护乡村治安。1943年，建农会的村庄成立了“模范班”，农会中的骨干人员参加，在村农会的领导下，配合抗日游击队作战。枪支、弹药、经费从农会中解决。1945年，全县“模范班”发展到4000余人，步枪800余支。
东平县民兵编制人数统计表
┏━━━━┯━━━━━━━━━━━┯━━━━━━━━━━━━━━━━━━━━━━━━┓
┃年度 │ 编制 │ 人数 ┃
┃ ├───┬───┬───┼────────┬───────┬───────┨
┃ │营 │连 │排 │总数 │基干民兵 │普通民兵 ┃
┠────┼───┼───┼───┼────────┼───────┼───────┨
┃1958 │135 │343 │2525 │119277 │ — │ — ┃
┠────┼───┼───┼───┼────────┼───────┼───────┨
┃1962 │2 │434 │3308 │97798 │ — │ — ┃
┠────┼───┼───┼───┼────────┼───────┼───────┨
┃1971 │71 │535 │3292 │125379 │78522 │46857 ┃
┠────┼───┼───┼───┼────────┼───────┼───────┨
┃1973 │72 │528 │3402 │136920 │84690 │52230 ┃
┠────┼───┼───┼───┼────────┼───────┼───────┨
┃1975 │77 │549 │3495 │146307 │94094 │52213 ┃
┠────┼───┼───┼───┼────────┼───────┼───────┨
┃1977 │84 │587 │3697 │147125 │92245 │54880 ┃
┠────┼───┼───┼───┼────────┼───────┼───────┨
┃1979 │85 │588 │3737 │146464 │90828 │55636 ┃
┠────┼───┼───┼───┼────────┼───────┼───────┨
┃1981 │10 │472 │2102 │55284 │8652 │46632 ┃
┠────┼───┼───┼───┼────────┼───────┼───────┨
┃1983 │10 │511 │1436 │49109 │10482 │38627 ┃
┠────┼───┼───┼───┼────────┼───────┼───────┨
┃1985 │17 │555 │313 │61392 │10271 │51121 ┃
┗━━━━┷━━━┷━━━┷━━━┷━━━━━━━━┷━━━━━━━┷━━━━━━━┛
1946年，“模范班”改称民兵，任务是保卫解放区，保卫乡村政权，保卫土改斗争果实，配合人民解放军打击国民党军队。1947年3月，国民党军侵占东平时，县委抽调先进单位的民兵，组成200余人的民兵大队，化名盐河队，由胡国栋率领，后编为3个中队。这支民兵有力地牵制扰乱敌人，使敌人日夜惶恐不安。仅半年时间，对敌作战19次，歼敌29人，获步枪9支，战马4匹，截获小麦2000余斤。1948年，各村普遍建立民兵组织，一村一班，属农会领导，由农会解决经费问题。参加者多是18～50岁身强力壮、立场坚定的积极分子。
1952年，全县普遍实行民兵制度。参加民兵的条件：一是年龄18～50岁；二是历史清白。参加基干民兵的主要出身贫下中农，有些村的青年妇女积极分子也参加民兵组织。1953年4月，县建立民兵基干团，区建营，乡建连，年龄18～30岁的男女青年参加。1958年，遵照毛泽东主席提出的“全民皆兵、大办民兵师”的号召，公社建民兵师，生产队建营、连、排、班。全县共建9个师，135个营，343个连，2525个排，7690个班，共民兵119277人。1962年7月，遵照国防部公布的《民兵工作条例》，公社建立民兵师（团），生产大队建立民兵营（连），生产队建立民兵排（班）。男女分别编班。规定：民兵是劳武结合组织，以劳为主，是不脱产的人民武装。全县共建9个民兵师，2个营，434个连，3308个排，9647个班，男女民兵97798人，其中男54070人，女43728人。1981年，遵照中发〔1981〕11号文件精神，民兵组织进行调整，整编为10个营，共55284人，其中基干民兵8652人。1985年，全县调整为17个民兵营。555个民兵连，民兵61392人。其中基干民兵连22个，基干民兵10271人。