唐代，牟平已建学宫。宋神宗时，科举制度兴盛，牟平学宫，考中进士者21人。金、元代仍设学宫，并设有县学，考中进士5人。明时，州学，设教授1人，训导2人；县学设学正1人，训导3人。儒生考中进士者7人，中举者39人，取为贡生者57人。成化四年(1468)，州办社学10处，择通晓经书者为教师，农闲时令子弟入学。清时，沿用明制，乾隆五年(1740)于州署前东南小街路北建书院。乡设义学、社学，村有私塾。蒙养之时，识字为先，以《三字经》、《百家姓》、《千字文》一类为识字的基本书，以《神童诗》、《千家诗》为读本，进行“顺民教育”。
清末废科举，兴学堂。境内办起州立、公立、村立小学10余处。民国初年，全县办初、高级小学400余处；办师范传习所、商业、蚕业学校和公立中学各1处。至民国26年(1937)，全县在校学生计3万余人。抗日战争时期，县抗日民主政府、日伪县政府和境内国民党游击队3方共办小学599处、中学5处。学校布局不合理。
民国34年8月，牟平全境解放，县人民政府调整学校布局，统一教材。民国37年1月，因战争教育停办，同年11月恢复。次年10月，全县教育逐步趋向正规化。1957年，全县办民办中学7处。1958年，小学实行公办、民办“两条腿走路”的办学方针，全县小学564处，其中民办班200余个，学龄儿童入学率达88％。1961年灾荒，多数小学年停课3个月，个别学校停课5~7个月。1962年，贯彻“调整、巩固、充实、提高”的方针，全县小学548处，其中民办班700余个；中学25处，其中民办中学14处。学校教育注重培养思想好、学习好、身体好的三好学生。
“文革”初期，学校学生串联“闹革命”。境内各类学校基本停课。1968年，全县公办小学全部下放到大队办，公办小学教师回本大队接受贫下中农“再教育”，造成全县教师南缺北余的现象，使南部山区教育蒙受极大损失。中学教师接受工人阶级和贫下中农的“再教育”。接着，将初级中学升为高中，完小升为初中；中、小学教师亦随之升级，大部分不能胜任其职。教学质量严重下降。全县有11.81万名初中毕业生和2.79万名高中毕业生均未达到应有的文化水平。1973年，稍事恢复以教学为主的正常秩序，又被嗣后的“反击右倾翻案风”所冲垮。
1977年恢复高考制度后，学校逐步转入以教学为主的轨道，境内各类学校得到恢复和发展。到1985年，全县有幼儿园674处，小学513处，公办中学17处，民办中学93处。师范等学校8处。乡镇职业中学5处。小学学生的入学率、普及率、巩固率、升学率均达95％以上。