公元453年(南朝宋元嘉三十年)兖州治瑕丘，县城在今城区北半部，唐代已为军事重镇。1385年(明洪武十八年)城垣南扩，后多次修葺改造，颇具防御功能。城垣周长7100米，墙高13米，底宽8米，外砌砖面，内实粘土，异常坚固。城墙上建垛口5893个，更铺56个。城设4门，城门瓮城宽大雄伟，建有城楼。城池东面、南面有泗河天然屏障，四周护城河深3.8米，宽9.6米，构成完整的防御体系。
民国年间，根据战争需要，城防工事几经改造加强。1933、1936年，驻兖国民革命军第二十师开辟了新东门、新西门及其两门之间的大道。日军侵占后将北门及新西门堵死，在护城河桥上设置了屋脊形活动铁蒺藜门。1940年在泗河铁路桥东侧两岸、泗河大桥两端、金口坝南侧两岸、南门外、南关村泗河堤上建起碉堡。1945年秋，国民党第五路军进驻兖州后在城垛口上架设铁丝网。城墙顶上挖有宽1米、深1.7米波浪形交通沟，对内对外都能射击。城墙半腰每隔15米挖1射击孔，与交通壕相连。除南门西侧门和东门南侧门外，其余城门全部堵死。1946年1月，吴化文的部队从西南城角至西北城角，每隔50～100米筑一伸出城墙的地堡，城墙外四周架设鹿砦，加宽加深了护城河，在城西北角护城河里边建一高7米、直径3米的3层碉堡，堡顶架有木桥。10月，利用兖(州)济(宁)支线路基，修成3～5公里环城铁路，行驶铁甲车，护城。
1947年秋，国民党第十二军及第十绥靖区对城防设施进一步加固，在城墙顶和城壕边架设1米高铁丝网，沿城墙外跟挖深2米、宽2米的护城壕沟1条。沟外10米加电网1道，外加1道鹿砦，电网外至护城河内为布雷区。将西门两侧百米城墙用石头加高2米，上面架设铁丝网，在护城河上架设吊桥。城内城墙脚下，修5米宽环行马路，以备兵力机动。在城内西南隅，小孟庄至乌龙街北端，建两道防线，挖沟建防护土墙，墙高4米，沟深3米，长300米。在城西南角南阁里(今新义村)建1个四角有碉堡的见方土围子，驻1个连兵力，作为守城前沿支撑点。兖州城防工事坚固，国民党守军自谥为“天下第一碉”。1948年7月13日，国民党军队苦心经营的城防工事，被人民解放军一举攻克。