山东省教育督导制度恢复重建于1987年，但从1991年开始，全省教育督导制度建设才有了较大发展。至2001年，省、市、县三级政府教育督导机构逐步建立健全，专兼职结合的教育督导队伍基本形成。同年12月，省九届人大常委会通过的《山东省教育督导条例》明确规定，“县级以上人民政府教育督导机构代表本级人民政府履行教育督导职责”，确立了全省教育督导机构的法律地位，教育督导工作走向全面健康发展的新时期。
一、省教育督导室机构队伍建设
1991年，省教委督导室督导人员由1990年前的1人增加到5人，其中专职督学3人。
1992年6月，《山东省实施〈教育督导暂行规定〉办法》（简称《办法》）实施，对督学的设置、聘任，督学必须具备的基本条件，督学的职权、任务等作出明确规定。省教委据此任命主任督学1人、副主任督学1人，任命督导室主任1人。12月，省教委任命督导室主任1人（由副厅级督学兼）、副主任2人（正处级督学）、正处级督学3人，聘任兼职督学16人。至此，省级教育督导机构建设趋于完善。
1994年11月，省委、省政府印发《山东省实施〈中国教育改革和发展纲要〉》，要求加强对教育督导工作的领导，健全督导机构，充实督导队伍，完善督导制度，将省教委督导室改建为山东省人民政府教育督导室，行使政府管理教育的职能。
1997年4月，省教委督导室改建为山东省人民政府教育督导室（简称“省教育督导室”），主任由副厅级督学兼任，独立向各市政府或教育行政部门下发文件。
1998年，省编委在关于省教委内设机构和人员编制的通知中公布，省教育督导室设总督学1人（副厅级）。
2000年3月，山东省人民政府教育督导室举行挂牌仪式。
二、地方教育督导机构队伍建设
根据国家和山东省有关规定，教育督导机构设到县一级。随着省级教育督导机构的逐步健全，全省各市（地）、县（市、区）的教育督导机构建设也从无到有，不断加强。
1990年前，全省各市（地）尚无独立建制的教育督导室。济南、青岛、淄博、枣庄等个别市仅配备12名督学。
1992年6月省政府印发的《办法》要求，省、市（地）、县（市、区）都要建立教育督导机构，由此，市、县两级教育督导机构迅速发展。
1993年2月，省教委印发《关于对全省中小学德育工作有关法规、文件落实情况督导检查的通报》，要求各市（地）、县（市、区）根据省政府《办法》的要求，在1993年上半年全部建立教育督导机构，充实配备专职督导人员，并聘任一批兼职督学。对逾期未建立教育督导机构的市（地）、县（市、区），通报批评。至8月，全省17个市（地）139个县（市、区）中，16个市（地）及104个县（市、区）均建立了教育督导机构。机构的编制、级别、名称因地而异。全省市、县两级共配备专职督导人员350名，专兼职督学234名。青岛、济宁、泰安、滨州、枣庄5市（地）及其所辖县（市、区）均建立了教育督导机构，配备专兼职督学，并组织开展各种形式的教育督导活动，在全省起到带头作用。
1997年4月省教育督导室组建后，市、县两级教育督导机构也相继改建。至1999年底，全省各市（地）、县（市、区）和大企业均建立教育督导室，其中16个市（地）和108个县（市、区）的教育督导机构称为“人民政府教育督导室”。
1999年，兖州市在全省首次建立党政有关部门教育工作目标责任制，市委组织部与市政府教育督导室联合对各乡镇党委、政府和全市41个党政部门（含武装部、检察院、法院）的教育工作进行督导评估，有力地推动了教育事业的改革发展，在全省影响较大，多次受到国家教育督导团的赞誉。至2000年，全省有近20个县（市、区）建立了党政教育目标责任制，并进行教育督导。
2001年12月，省九届人大常委会通过的《山东省教育督导条例》确立了全省教育督导机构的法律地位，在全国属首个省份。全省省、市、县三级教育督导机构建设由此纳入法制轨道，进入健康、全面、快速发展的新时期。
2004年始，省政府在对市级政府教育工作的综合督导中，不仅对省政府有关部门的教育职责进行督导，还包括在全省范围内全面实施对市辖各级各类教育（包括劳动部门管理的职工教育和技工院校的教育）的督导评估，督导的深度、广度居全国前列。
至2005年，全省省、市、县三级教育督导专职人员749人，其中专职督学586人，兼职督学2431人。一支覆盖省、市、县三级，专兼职相结合，结构基本合理，业务素质较高的教育督导队伍在全省形成。
1991—2005年山东省历届省兼职督学名录
表5-1
┏━━━━━┯━━━━━━━┯━━━━━━━━━━━━━━━━━━━━━━━━━━┓
┃ 届次 │ 任职年限 │ 督学名单 ┃
┠─────┼───────┼──────────────────────────┨
┃ │ 1991—1992 │主任督学：吕可英副主任督学：王恩大 ┃
┃ │ │ ┃
┠─────┼───────┼──────────────────────────┨
┃ 第一届 │ 1993—1999 │李奇瑞、王南勋、胡宏智、丁日新、易友政、谢德才、马龙┃
┃ │ │湖、郑华、刘朝宾、史仍义、王玉桂、夏一民、郭子栋、张┃
┃ │ │忠、杜辉、王清汀 ┃
┠─────┼───────┼──────────────────────────┨
┃ 第二届 │ 1999—2002 │李滨利、杨亚光、于忠超、韩金峰、钟泽圣、许恩太、朱新┃
┃ │ │民、于树立、闻宝纯、杨殿奎、王丙录、李戎、徐胜三、李┃
┃ │ │玉玺、韩常、赵梅钧、钟家训、冯玉庆、齐长增、刘占升、┃
┃ │ │王卫东、吴书欣、张其柱、金树然、丁学杰、李勤农、董正┃
┃ │ │端、温启颖、王学贤、许明新、张钟谊、何大柱、石有泰、┃
┃ │ │卓照环、郭立兴、信玉珂（2000年10月增聘高文浩、郭金 ┃
┃ │ │铸）、朱广新、周志仁、卢兆铭、郝铁柱、赵承福、周焕 ┃
┃ │ │文、赵鹤年、钟觉民、刘锡祥、马胜奎、董树平、王景孟 ┃
┠─────┼───────┼──────────────────────────┨
┃ 第三届 │ 2002—2005 │刘元刚、张恩光、刘广侨、陈显青、孟庆嵩、程德权、孙长┃
┃ │ │柱、李缙、杜卫国、于大卫、赵福庆、姜耕田、魏进路、潘┃
┃ │ │永庆、于崇津、刘锟、谭金志、王恒孔、张华燕、张玉庆、┃
┃ │ │刘万利、孙洪绪、高立泉、温启颖、王培才、赵本金、王安┃
┃ │ │民、张修田、李滨利、郝铁柱、赵承福、齐健、高文浩、郭┃
┃ │ │金铸、陈培瑞、张权、赵德英、毕乃轩、盛振明、徐兴文、┃
┃ │ │王绥之、许洪印、张安禄、胡振华 ┃
┗━━━━━┷━━━━━━━┷━━━━━━━━━━━━━━━━━━━━━━━━━━┛
1991—2003年，山东省先后有尹钧荣、吴鸿章、吕可英、董树平、马钊、张志勇、高文浩、陈显清、李希贵等9人被国家教委（教育部）聘任为国家督学。
三、督学和督导人员培训
为提高教育督导人员和督学的政治、业务素质和理论政策水平，熟悉国家和省关于教育的方针政策、法律法规，根据国家和省有关规定，自1990年起，省督导室组织多种形式和内容的督学及教育督导人员培训。每年均组织各市（地）督导室主任、督学及部分新任命的省级专职督学去华东师范大学参加国家组织的培训。组织各级教育督导人员和督学参加国家教育督导团和省教育督导室举办的各种内容的培训班、研讨班、研讨会10余次。
1990—1999年，省政府教育督导室委托山东教育学院举办教育督导培训班7期，每期50人，培训1个月，学员为县级教育督导室主任、督学及部分市（地）教育督导人员。
1998年，省政府教育督导室在济南、潍坊两市数次组织专项（“两基”监测方法、技术及电脑在督导评估中的运用）培训，培训各市政府教育督导室主任及“两基”监测人员。
2000年6月，为提高分管县（市、区）长的教育工作水平，进一步促进县级政府教育工作和素质教育的深入实施，省政府教育督导室在青岛市举办山东省首期分管县市区长教育研讨班。参训的有100多位分管县（市、区）长及部分地级市分管市长、教育局长，以及各市政府教育督导室主任等。这是全省教育史上仅有的一次分管教育县（市、区）长参加的教育培训。