清末，县始办师范教育。1907年(清光绪三十三年)，改崇正书院(息马地街西端路北)为兖州初级师范学堂。招收1个班，学生约40人，学制1年。宣统年间，堂址迁至贡院(今市第二人民医院址)。后又招收1个班。1912年，革命军张勋部进驻贡院后，学堂停办。
1915年创立滋阳县立小学教员师范讲习所，地址在僧王祠(今城内回族小学址)。有学员22人，多为中年失业者，10个月1期，结业后发准充副教员凭照。同年11月，改为滋阳县立师范讲习所。翌年3月，招收正科学员1个班，学制2年，学生35人。1918年第一批正科学员毕业后分赴各乡村小学任教员。1919年招收副科学员1个班，学制1年。1920年，师范讲习所停办。1930年11月，山东省立第四乡村师范学校成立，校址在第二甲种农业学校旧址(今兖州酒厂址)。招收新生2个班，学生80人，学制4年，学生来自鲁西南各县。翌年4月，滋阳、嘉祥两县出资，委托四乡师代办嘉滋附班。1934年改为山东省立滋阳简易乡村师范学校。到1937年共招9届，19个班，学生1560人，其中毕业3届6个班。同年8月，迁至安徽阜阳，改为山东省立第二临时师范。1947年秋迁回兖州，仍在原校址，有8个班，学生300余人。1948年7月，兖州解放，乡村师范停办。
1944年10月，兖济道联立简易师范学校成立，校址在兖州城内东鲁书院。当年招生3个班，学生180人，学制3年。学生来自滋阳、济宁、宁阳、汶上、嘉祥、金乡、鱼台、滕县、峄县、邹县、曲阜、泗水等县。学生在校食宿，经费由上述各县分摊。1945年招收1个班，学生50人。1946年，外县学生十之七、八退学。秋，招收新生1个班，学生50人。同时将一级学生合并成2个班。这时学校有3个年级4个班。1947年春，校舍被国民党“鲁西南行署”占用，该校遂与县立中学合并，设立简师部。同年夏，一级学生毕业分配到农村小学任教员。1948年二级学生毕业。7月，兖州解放，学校停办。
1952年，设立滋阳速成师范学校，招收3个班，学生110人，翌年冬结业，停办。1958年成立滋阳师范学校，招收2个班，学生100人，1959年并入曲阜师范学校。
1965年经山东省第二教育厅批准，成立山东省兖州工读师范学校，校址在兖州天主教堂南院，至今。学校为半工半读性质，学生毕业国家不包分配，实行“社来社去”，回乡当民办教师。招收兖州、汶上、济宁、嘉祥、金乡等县初中毕业在农村劳动1年以上或农中应届毕业生，学制3年。当年招收2个班，学生100人。1968年第一届学生毕业，同时招收2个班新生，学生100人，1969年3月结业，后未再招生。1970、1971年办了2期中、小学教师培训班，培训中学教师100人，小学教师500人，举办2期汉语拼音培训班，参加培训的小学教师600余人。1973年春，经山东省教育厅批准，改为山东省兖州师范学校，成为一处普通师范学校。当年招收工农兵生4个班，学生160人，学制2年，学生毕业由国家统一分配。自1980年起每年除招收普通师范班外，还面向济宁地区各县(区)招收幼儿师范2个班，学制改为3年，学生毕业后由国家统一分配。1983年由济宁市局直接管辖。1995年，设有普师、幼师、计算机应用、电脑财会、工艺美术、机电等，共计18个班，学生874人。
1979年兖州县教师进修学校成立，承担全县小学教师在职进修任务。1984年9月，山东省教育厅批准行文备案，国家承认该校毕业生(包括中师函授)为中专学历。1979～1990年，县教师进修学校对不具备中师程度的在职小学教师进行文化补尝教育，使其学历达到国家规定的标准。这期间，共举办短期培训班21期，培训小学教师957人次，短期英语培训班2期，学员58人，结业为初中英语教师。毕业2期2年制脱产进修班，学生151人。1995年，学校有中师函授班4个，学生167人，外企职专班4个，学生218人。举办小学校长培训班、中学校长培训班、小学教育专科班、初中英语教师短训班、教育后备干部培训班各1期，受培训教师达352人次。学校成立至1995年，共招收学生12届，已毕业10届，毕业学生1670人。