清末，县级教育行政机关设教谕、训导2署。教谕署设教谕1员，八品，训导署设训导1员，从八品，主要掌管文庙祭祀，教育考核所属生员。1906年(清光绪三十二年)，县设劝学所。
民国初年，沿袭清末制设劝学所。1915年，成立县教育款产管理委员会，隶属于劝学所。劝学所设所长1人，劝学员、办事员、雇员、款产员等若干人。
1923年改劝学所为教育局。教育局设局长1人，督学1人，科长1人，科员3人。局内设董事会和教育委员会。北伐战争后，教育局设局长1人，督学1人，教育委员6人(每区1人)，后减至3人(2区1人)，书记2人，事务3人，局内设教育、会计、文牍3个股。1933年，教育局改为第五科。1934年，恢复款产委员会，负责筹措和管理全县学款。1938年建教育科，1947年，县建设科、教育科合并为第三科。
1948年，兖州解放，兖州市政府设教育科。同年12月并入县，县政府设文教科，负责管理全县的文化教育工作。
1956年2月改为教育科。同年8月，改为教育局。配备局长1人，副局长1人，人事秘书1人，文书1人，会计1人，中小学视导员3人，工农业余教育视导员3人，中小学教育教学研究员3人，工农业余教育教研员3人。
1958年11月，滋阳县与曲阜县合并，称曲阜县教育局。1962年1月，两县分治，改为兖州县文教局。同年6月改为文教科，1963年10月，恢复文教局。
1966年“文化大革命”开始，机构瘫痪。1971年，成立县革委政治部教育组。1977年2月，撤销县革委政治部教育组，成立兖州县教育局，下设人事组、财务组、教研室等。1981年，教育局人事组、财务组分别改为股，同时设立秘书股，成立电大工作站。1984年8月，增设普教股、业教股和中小学教研室、教育局共青团委员会。1985年改普教股为教育股，同时成立仪器电教站，增设保卫股，成立中国共产党兖州县教育局委员会，设党委办公室。1986年改业余教育股为职业教育股，增设勤工俭学办公室。1987年教研室单独设置，增设纪律检查委员会和监察室。1989年3月，设立老干部股和师训股。1991年5月设立教育督导室(由教育局代管)。1993年12月机构改革，撤销教育局，设立教育委员会，由原来19个科室改设为4个科室，即办公室、组织人事科、计划财务科和教育科。机关工作人员由原来的83人精简为25人。辖招生考试处、勤工俭学服务站、电化教育教学仪器站和职工教育中心。1995年，市教育委员会机构设置未变。