40年代初期，民兵所用武器主要是大刀、长矛、鸟枪和土炮，部分村集资购置少量钢枪、手榴弹。1943年，海阳、莱阳县民兵用土法制黑色炸药，造出。土地雷、手榴弹，各地纷纷仿效。此时，地雷成为民兵的主要武器。后民兵组织不断开展对敌斗争，从敌人手中缴获武器武装自己。1945年2月，在讨伐赵保原战役中，牙前、栖西、莱阳等县民兵缴获机枪8挺，长、短枪500余支，手榴弹2万余枚。1947年，民兵在配合部队粉碎国民党对胶东进攻中，共缴获轻机枪11挺，重机枪2挺，步枪500余支，短枪64支，手榴弹2782枚，各种子弹4.4万余发，炸药6百余公斤，大部分用来武装民兵。这期间，胶东军区兵工厂生产的武器部分发给民兵，壮大民兵武器装备。1944～1948年，部队还发给和奖给支前子弟兵团武器1000多件。1947年7月，招远子弟兵团一营，在鲁中等地支前返回时，部队奖给轻机枪2挺，子弹1万发，手榴弹1000枚。
1958年，将部队换下来的旧杂式和苏式枪支配发给民兵。1965年，配发给民兵一批"五六式"半自动步枪和冲锋枪、轻机枪。1977年后，民兵逐步装备上高射机枪、火箭筒、迫击炮、无后座力炮、八五加农炮、三七高射炮及通信、防化器材。1978年又配发部分"六三"式自动步枪。1979年10月，将民兵使用的各种旧杂式武器淘汰。1983年又将"五三"式苏制步枪淘汰。武器管理和维修也由分散到集中，建立起一套严格的管理制度。