1926年国民革命军冯玉祥部北伐张宗昌，在兖州驻5个师，师长为靳云鄂、田玉洁、田维勤、陈文剑、李济才。后冯玉祥的骑兵旅及国民政府军军长刘峙、师长夏斗寅、曹万顺部驻兖州。
1928年3月21日，国民革命军第一集团军组成，蒋介石兼任总司令。4月10日第一集团军沿津浦路北上，20日攻占兖州，22日第一集团军总司令部移驻兖州，国民党航空大队进驻兖州，有飞机6架。5月2日第一集团军总司令部自兖州北上济南。5月3日，济南惨案发生，在日军武装干涉下蒋介石率第一集团军总司令部及第三军团、第二十七军于5日退回兖州。5月10日南京国民党政府在兖州举行党政军联席会议，决定绕道北伐，夏斗寅第二十七军(辖第六十五师、六十六师)留守兖州。1929年3月3日，夏斗寅率部去武汉。1929年5月22日，冯玉祥部韩复榘、石友三、马鸿逵投靠蒋介石。马鸿逵第十五军及六十四师1万余人驻兖州。
1931年春，韩复榘第三路军二十二师谷良民部到兖州驻防，1932年秋天离去，陆军第二十师孙桐萱部驻防兖州，有师直工兵营、手枪营、骑兵营、六十旅和师直部队，约6000多人。1937年11月，孙桐萱部撤离兖州。
1945年11月，第五路军吴化文部进驻兖州，司令部设在城东门里(今市第一招待所址)，下设政治、军法、副官、参谋、军械、军需、交通、秘书8个处。辖4个师，1个旅，1个警卫团，共7000余人。徐曰政师驻守金口坝、飞机场、天仙庙和老东门外一带，王同雨师驻北教堂(今一中)，布防北门西至老西门一带。老西门以南为白崇山团，归王同雨师指挥。贺舫团驻南门里一带。花竹荫旅驻东门里，兵力部署在老东门以南及东南城一带。花竹荫为兖州城防司令。王玉臣警卫团驻守第五路军司令部。1947年3月改编为整编八十四师，7月调离兖州。
1947年6月，国民党第十绥靖区司令李玉堂部到兖州驻防。1948年2月霍守义的整编第十二军兼整编第十二师所属部队(112旅部与两个团驻济宁)及保安三旅之八十七团、山东保安一二团等2.5万多人驻守兖州，归第十绥靖区指挥。1948年7月13日兖州解放，国民党守军全部就歼。