民国28年(1939)7月，县委开始建立武装，成立军事委员会，内设正副主任各1人，由县委正副书记兼任，委员5人。
民国31年(1942)8月，牟平县人民武装抗日自卫委员会成立，简称武委会，设正副主任各工人，内设政治、参谋、供给三个股，工作人员10余人。民国34年(1945)9月，县武装部成立，与武委会同时存在。设正副部长各1人，武委会主任兼武装部长。内设组织、宣教、作训、供给等股，工作人员20余人。
民国35年(1946)12月，武装部、武委会、独立营合编为县武装指挥部，设正副指挥各1人，县委书记兼任政委.内设组织、宣传、作训、供给等股，人员30余人。次年增设参谋股。
民国38年(1949)秋，指挥部撤销，成立牟平县人民武装部，设正副部长各1人，内设军事、政工股，共30余人。1954年11月，县武装部改为县兵役局，一个单位两个名称。设局长、副局长、政委，内设宣传、征集、统调、军官、民兵等科，每科5～6人。1958年11月，县兵役局、武装部随撤县并市而撤销；次年11月，随复县而恢复。内设作训、组动、政工科。
1960年10月，县兵役局、武装部改名为牟平县人民武装部，开始设第一政委(县委书记兼任)和政委。1966年10月，武装部改名为中国人民解放军牟平县人民武装部。仍设作训、组动、政工3个科。“文革”初期，县武装部成立了三支两军办公室。此时，县委书记不再兼任武装部第一政委。1978年11月，恢复了县委书记兼任县武装部第一政委。