光绪二十九年（1903），益都知县李祖年在东关王沂公故宅创办益都县立高等小学堂。此为青州市境内第一处新式官立高等小学堂，当年招生60人。之后，初等小学堂亦陆续开办。至光绪三十三年（1907），市境内共有小学堂25处。其中，益都县有高等小学堂1处，学生75人，初等小学堂20处，学生274人；青州驻防满营设有初等小学堂4处，学生240人。宣统年间，见于文字资料者尚有朱良镇育才初等小学堂（建于宣统三年）1处，青州驻防满营高等小学堂4处及最后一代协领创于北城的女子学堂1处。
1912年，民国初立。教育部公布《小学校令》，指令县设高等小学校，城镇乡设初等小学校，并提倡私人办学。同年，益都县高等小学堂改称高等小学校，并新设立益都县立第一（两等）小学（亦称仓廒女校）及尧沟、金岭镇、朱良等两等小学。同时，各乡镇初等小学也陆续开办。1915年，城区的初等小学即有县立第一模范小学、县立第二初级小学及北阁、奎星阁、镇武庙、准提庵、天后宫、心寺、清真寺等10多处小学。城北乡朱良镇亦设有乡立广益、育德、集成、育才等4处小学。此外，尚有北马兰乡育英、养正及孙家庄、宋家庄初小多处。但有不少学校质量低劣。据该年省视学《视察益都教育报告》称，“至东南各区视察所及者，如尧沟，孟家庄、三官庙、大十亩田庄、郑母、姜家泉各初小均与私塾无异”。
同年秋，据《国民学校令》，全县初等小学一律改称国民学校，成立益都县义务教育筹备小组，谋及普及四年义务教育，但成效甚微。至1921年，全县有县立小学7处，国民学校295处（其中私立小学两处）。
1922年，根据“壬戌学制”系统，小学名称废除“高等”“国民”字样，一律改称小学校。改高等为高级小学二年，改初等为初级小学四年。1923年，全县所招新生实行“四二”学制。
1928年冬，县公安局长“刘振标叛变，盘据县城”，小学全部停办。据省督学孙维狱1929年夏《视察益都县教育报告》称：“全县初级小学300余处，高级小学10余处。去冬兵匪交扰，皆已停顿。现在乡间时有匪警，乡区小学无一开课者，城厢开课者仅3处。”同年冬，省督学杨菊谭在视察“报告”中亦称，益都“近以重罹匪患”，“学校损失过甚”，“城乡私塾逐渐增多”。政府有鉴于此，决定增拨教育经费、恢复师范讲习所，并于1931年下令严禁私塾。之后，小学教育有所发展。1934年，小学490处592班，学龄儿童53500人，入学者已达21800余人。至1936年，达到了战前最高水平。全县有省立小学（四师附小）1处、县立小学11处、区立与私立小学14处，初级小学503处，共有小学529处，在校学生22000人，占学龄儿童总数的35％。
抗日战争时期，出现了三种性质不同的教育。
日伪县公署于1938年，先后在县城及胶济铁路沿线村镇办学7处。1940年，又在城区设完全小学5处。1941年，公、私立小学达到173处，在校学生8044人。
与此同时，国民党保安第三师十五旅二团徐振中，在夹涧、高柳、徐集一带设教育科。陆续在北大王、孙板、张家营等地设立高小10处44班，并在33个村设了初级小学42班，共有学生2955人，六团王凯臣也在县城东北一带办起口埠、东荒、十甲等中心小学，计21个班，学生500余名。
1938至1942年，益寿临广四边县抗日民主政府，先后办起张高、阳河、葛口、南星落、北星落、史家、曲屯、赵家营、沈家、彭家、东西八户、河头、王木、吕村、东朱鹿等多处小学。1940年，还在许王庄创办益北高小1处，当年招生1个班50人。在县境西南山区，益临淄博四县联合办事处，自1944年始，先后办有长秋抗日小学、仁河区朱崖等小学。
解放战争时期，国民党在县城及弥河东地区设有中心国民学校14处，学生1913人，保安国民学校105处，学生4245人，另设师范附小1处，学生270人。
1946年，在县西南解放区曾办有上庄、窦家崖等小学数处。1948年益寿县人民政府还相继在阳河、马兰、孙板、口埠办有完全小学4处，共13个班，学生570人。同年秋，通过贯彻“青州会议”精神，小学教育逐渐在全县恢复。
1949年，全县设有完小25处，初小686处，在校学生达37645人。
经过三年国民经济恢复，小学教育发展迅速。至1952年，全县共有完小65处，初小855处，在校学生66888人。之后，通过对学校布局、教师及规章制度等方面的整顿，1957年小学达905处（其中完小129处），在校学生79816人。基本上满足了群众的要求。
1958年冬，在左的错误思想指导下，大办“共产主义小学”。1959年春，小学剧增到1241处，在校学生达到90959人。不久因重重困难许多新增设的小学被迫停办。
三年暂时困难时期，调整学校布局，压缩招生指标，精简教师，确定重点小学，执行两类教学计划。1962年，全县裁减小学教师573人（其中131人转为民办）。保留公办小学570处（其中完小94处），民办小学135处，在校学生共55176人。其中21处重点小学188个教学班（高小班79个、初小班109个），执行第一类教学计划。
1964年，实行“两种教育制度”，国家办学与群众办学并举，积极发展工读小学（简易小学）。同年底，全县办起531个班，入学儿童13222人。至1966年，工（耕）读小学发展到761处，学生24671人。连同全日制小学，学龄儿童入学率达到92.8％。
“文化大革命”期间，小学教育遭到了严重破坏。1968年，小学下放到大队去办，工（耕）读小学全被砍掉，教师积极性受到严重挫折，有的遭受迫害，致使教育质量大幅度下降。当时，全县仅有小学629处。1972年，提倡民办小学。至1975年，小学又增加到943处，在校学生达到113228人。但由于办学条件不足，学生参加劳动过多，教学质量仍然不高。
1978年后，重新贯彻教育部颁发的中、小学《暂行工作条例（修改草案）》和小学《学生守则》。逐步建立健全了学校的规章制度；确立了中心小学；建立了县实验小学；整顿民办教师队伍；大力改善办学条件，促进了教育事业的发展。1987年，全市有小学622处，在校学生72666人，学龄儿童入学率达到99.3％，巩固率达到99.5％，毕业率达到99％。根据市政府制定的实施义务教育的规划和措施，从1990到1998年，全市将分三批实施九年制义务教育。