战国末期,在今城区北半部筑有城池。城4门筑设土楼。隋唐时期，整修城垣，将4门改为青砖城楼。
1370年(明洪武三年)，朱元璋封其第十子朱檀就藩兖州，是年4月修建鲁王宫，因城池规模狭隘，1385年(明洪武十八年)，令武定侯郭英扩建，将南城墙南移2里30丈。
古城历经战乱，屡毁屡修。1562年(明嘉靖四十一年)，知县李之茂主持重修。1642年(明崇祯十五年)，清兵破城，焚毁东、南、北3门，堞楼、垛口多处被捣毁，1671年(清康熙十年)知县李潆主持重修。1778年(清乾隆四十三年)，知县党璞玉主持重修。1840年(清道光二十年)道宪王懿德捐资修造垛口4289个。1857年(清咸丰七年)知县莫炽劝捐代赈挑挖护城河，修理闸板吊桥。1883年(清光绪九年)知府伊勒通阿出资劝捐重修。1888年(清光绪十四年)滋阳县志载：“砖城周一十四里二百步，高三丈，垛高七尺，基广二丈四尺，月墙四，各高三丈二尺，垛高九尺，垛口五千八百九十三，更铺五十六。门楼四：南曰德政，后改延熏，今曰瞻峄；东曰九仙，后改宗鲁；西曰泗水，后改望京，今曰襟济；北曰青石，后改拱极。马道阔一丈五尺。”“壕池深一丈二尺，阔三丈。泗水自黑风口西流分为二支，一支入城为府河，一支绕城为城河”。
1930年(民国19年)，冯玉祥、闫锡山联军反蒋炮击古城，刘峙部将城楼和垛口拆除。1933年(民国22年)，国民党军第二十师孙桐萱部开辟新东门，1936年开通新西门。抗日战争胜利后，国民党军吴化文部、李玉堂部、霍守义部先后驻守兖州城，为阻挡人民军队解放兖州，在城墙上下挖洞，修筑工事。致使城墙千疮百孔。
新中国成立后为适应城市建设的需要，1953年9月开始拆除残破的城墙。1964年建设路以北东护城河被填平改路，至1986年，东护城河全部填平，改建成共青团路。东南城角至东桥路南端一段护城河成为排水沟。1994年5月，市政府开始治理北护城河，石砌西、北护城河护坡及挡土墙。1995年，北护城河已改建成滨河公园。古城墙遗迹尚存2处：一处在原北门东侧(兖州粮库西北隅砚标点)，一处在新北门西侧，已改建成少陵公园北仿古城墙。