兖州市(县)历史悠久。据境内已发现遗址考证，早在旧石器时代晚期就有人类在这里劳动、生息、繁衍，新石器时期，已成为人烟稠密的地区之一。
上古属少昊之墟，为古奄地，称穷桑邑。夏禹时期分天下为九州，属徐州区域范围。西周称负夏，属鲁国，春秋为鲁国负瑕邑。战国末期，鲁国被楚国所并，改称瑕丘，属楚国。
秦，置瑕丘县，属薛郡，县治所在今城东北5里古城村。汉代瑕丘县隶兖州山阳郡。公元前134年(汉元光元年)用主父偃策，分封诸侯王子弟为侯，以分其势，鲁恭王之子刘政封为瑕丘侯，瑕丘又为侯国。东汉，仍置瑕丘县。
三国至西晋沿袭。东晋义熙年间，瑕丘县并入南平阳县(治所在今邹城市西北10公里)。公元453年，(南朝宋元嘉三十年)复置兖州，州治瑕丘，治所在今城区北半部。瑕丘为兖州治所始于此时。公元606年(隋大业二年)兖州改为鲁郡，翌年，割邹县、汶阳(今曲阜)、平原(今宁阳)3县边界地区复置瑕丘县，瑕丘县为鲁郡治。
唐、五代十国至宋，均置瑕丘县。瑕丘自唐始为重镇。1110年(北宋大观四年)为避孔子讳，故去“丘”留瑕，将瑕丘县改为瑕县。后因“瑕”有“疵瑕”之意，遂以地处嵫山之阳，改为嵫阳县。
元代，嵫阳县隶属兖州并为其治所。1265年(元至元二年)宁阳省入嵫阳，1297年(元大德元年)析出。明初，嵫阳县并入兖州，1370年(明洪武三年)明太祖封其第十子朱檀为鲁王，就藩兖州，1385年(明洪武十八年)兖州升为府，复置嵫阳县。1471年(明成化七年)因鲁王宫中多次发生火灾，乞以水克火，故将嵫阳县的“嵫”去山从水，改为“滋”阳县。
清代及民国年间沿袭明制。1938年日军入侵,滋阳县沦陷。1944年10月，中共兖济县抗日民主政府建立,活动在济宁、邹县、滋阳3县边界一带。日军投降后,兖济县政府驻滋阳县农村,国民党县政府驻滋阳县城区。1946年4月，撤销兖济县改置滋阳县，县机关驻大安镇牛家屯村。
1948年7月13日兖州解放，城区置兖州市，乡村仍为滋阳县，县机关驻泗庄区薛家庙村。12月底兖州市并入滋阳县，县机关迁驻县城。1958年11月11日，滋阳、曲阜合并称曲阜县，县机关仍驻滋阳县城。1962年1月10日，曲、滋两县按原行政区域分治，滋阳县改为兖州县，治所未变。1992年9月19日撤销兖州县，设立兖州市(县级)。1995年，兖州市辖9镇4乡。