清朝时期，菏泽城为曹州府尹驻地，负责军事的镇台衙门也设在菏泽城。
镇台衙门除镇台外，下设协台、参将、游击、都司、守备、千总、把总、经
制外委等职。
1912年（民国元年）设军门（后改称镇守使），辖8个巡防营，下设书记
处，大帐房、小帐房、执法处、文案处、马尾队等部门。1925年，曹州所辖
驻军被国民党收编，同年4月设旅，后扩编称军，菏泽为旅（军）驻地。1932
年增设了鲁西民团指挥部（相当现今军分区级），指挥部驻菏泽。
1938年，日军侵占菏泽，在菏泽城设伪警备大队部，辖9个区。同年8月，
中共建立了青丘，离明、灵圣、长明4区联防办事处，下设联防大队进行游
击战争；1941年3月至1943年11月，今市境内菏泽抗日县政府、南华抗日县政
府、临泽抗日县政府相继建立后，每县均设县大队，以领导各县的军事活动。
1945年日军投降，国民党在菏泽设城防司令部。是年10月，八路军第一
次解放菏泽，军分区机关进驻城内。1946年，国民党军队北犯，重占菏泽城，
设城防司令部。
建国后，设菏泽县人民武装部，统领全县的地方武装与民兵。县武装部
设正副部长各1人，秘书1人，政委由县委书记兼任。下设12个区武装部和1个
郊区武装部。 每区设武装干部2～3人。 建国初期， 县武装部建制归地方，
1954年9月，由地方建制归军队编制，改名为菏泽县兵役局。设正副局长各1
人，专职政委或副政委1人。第一政委仍由县委书记兼任。下设动员、征集、
预备役军官、统计、民兵5个科；各区设武装助理员1人。1983年，县改市，
菏泽县人民武装部改称菏泽市人民武装部。各办事处、乡、镇均设专职武装
干部1～3人，全市共有专职武装干部79人。