兖州为鲁西南门户，历代兵家必争之地，自隋代起，各个历史时期均有重兵驻守。清初，设游击1员，1723年(清雍正元年)改设总兵1员(正二品)，隶属山东巡抚。翌年3月10日后，兖州镇总兵辖镇标中、右两个营(兖州营为中营，界河营、满家硐营合并为右营)，每营设游击、守备各1员，千总2员，把总4员，绿营兵(汉军)800名。德州、临清等14营地也归兖州总兵管辖。
1817年5月19日(清嘉庆二十二年四月初四)曹州镇设立后，兖州镇总兵辖镇标中、右两个营，兼辖沂州营(后改协)及泰安、台儿庄、武定、安东、沙沟、济南城守营等。总兵官驻兖州，带领中营游击、守备各1员，把总2员，外委千总3员，马兵90名，步兵479名；右营游击1员，千总1员，外委千总2员，外委把总2员，马兵86名，步兵466名。
1894年(清光绪二十年)改绿营编制，总兵辖左、中、右3个营。中营设中军游击、守备、把总各1名，经制外委把总3名，马兵90名，步兵479名。右营即城防营，设都司1名，千总1名，驻城内，把总1名驻城外。1905年(清光绪三十一年)至1909年(清宣统元年)，兖州右翼防军编制为前、后、中、左、右5大哨，每哨有9个棚，每棚10人。官兵约450人，驻西教场(今南山拖厂处)。
1912年2月12日清(宣统)帝退位，16日长江巡阅使江防营首领张勋率2000余人从徐州退驻兖州，司令部设在贡院。不久改编为北洋政府军。