光绪三十二年（1906年），济宁设初级农业学堂，堂址在南关王母阁街，招收初等小学毕业生，修业期限3年。光绪三十四年（1908年）改设济宁州立乙种农业学堂。
1912年，济宁州立乙种农业学堂改为济宁县立乙种农业学校。1915年2月，济宁道尹贾景德创建济宁道立甲种工业学校。7月，山东南运湖海疏浚事宜筹办处为培养河海测绘人员，在城内石门口街设立“山东河海测绘工程学校”，1917年6月停办。1920年，济宁县立乙种农业学校停办。设立县乙种商业学校，地址在冰窖街。1928年7月，济宁道署建制撤销，道立甲种工业学校经省政府批准改为“山东省立第三职业学校”。1933年7月又称“山东省立济宁初级工业学校”。1937年“七·七”事变后停办。
1948年11月，鲁南建国学校迁至济宁，更名“鲁中南建国学校”，设民政、财粮、实业、教育、新闻、卫生6科，学员300人，学制6个月。翌年7月该校迁往临沂。
建国初期至1960年，境内先后建成济宁市第一人民医院护士学校、山东省济宁供销学校、山东省济宁农业学校、济宁地区工业学校、济宁专区戏曲学校、济宁地区化工学校、济宁专区畜牧兽医学校和济宁市技工学校等8处中等专业学校。1961～1962年，济宁地区工业学校、济宁专区戏曲学校、济宁地区化工学校、济宁专区畜牧兽医学校先后停办。1964年，建成山东省济宁商业学校，校址在城北南岱庄。
“文化大革命”期间，济宁市的中等专业学校没有发展。1978年6月，山东省济宁卫生技工学校建立。
中共十一届三中全会后，中等专业学校发展迅速。1981～1985年，境内先后建成济宁市职业中等专业学校、济宁市艺术学校、济宁市体育运动学校、济宁市人民警察学校。至1995年，共有中等专业学校10处，在校生1.09万人，教职工1333人。中等专业学校的增多，为社会培养人才，为经济建设和其他事业的发展提供了专业技术力量。