清光绪三十年(1904)，临清知州张承燮在文昌宫(今考棚街)设民众阅报所、阅书所。民国4年(1915)县知事阮忠模倡办通俗图书馆，委赵文焕为经理，馆址在甘堂祠(鳌头矶)。民国11年(1922)迁考棚街劝学所前院(今第三中学)；民国20年(1931)，图书馆与演讲所合并，称民众教育馆。下设图书、艺术、出版、科学、讲演、体育、推广、卫生八部；另设阅览处7处、壁板4处，属于推广部，馆长赵培坤。民国21年(1932)，改为阅览部、出版部、游艺部、民众教育馆等。阅览部包括图书馆，设在大宁寺后殿，游艺部设在中山市场，民众教育馆在考棚街。
抗日战争时期，政府将后大殿所有藏书全部封存并派专人看管。
临清解放后，组建大众教育馆，设文艺、戏剧、宣传、图书等部，杨海楼首任馆长。接管大宁寺后殿所有图书，兴办“若仙文库”。除搜集黑若仙生前主编的《洪流》、《堡垒支部》等刊物和她的书报遗存及解放区的所有书刊外，还号召机关团体单位捐献新书刊充实图书部，以便向社会开放。
1949年后，民众教育馆易名为人民文化馆，后改为文化馆。图书部改名为图书室，1958年图书室脱离文化馆，扩建为图书馆。
1958年，图书馆对全县流散在群众中的书籍进行了调查和搜集。由集村王贵笙先生(清宣统元年己酉科拔贡)积极响应政府号召，把珍藏多年的600余本藏书慷慨献给图书馆。
1967年图书馆增设宣传栏6个、流动图书箱10个，并对全县农村图书室进行了普查。“文化大革命”期间，大部分图书被封存。馆长被当作“当权派”“靠边站”，图书无人管理，散失严重。
1976年“文化大革命”结束后，社会形势趋于稳定，馆内人员增加至4人。1978年文物工作从文化馆划归图书馆。1980年底，人员增加至15人，总藏书13.1万册，其中自然科学类4.6万册、社会科学类3万册、文艺类5.5万册。1984年9月，文物工作从图书馆分出，建立博物馆，图书馆人员随之减少至12人。图书外借、报刊阅览都集中在大众公园大厅，因经费紧缺，购书停止。
1986年4月，新图书馆楼在青年路东段破土动工，1987年10月26日正式开业。总建筑面积为900平方米。省新华书店向临清市图书馆赠书475种、2322册。
图书馆新楼前厅上下两层，分为对外服务区和办公区，书库三层。内设采编室、外借室、报刊阅览室、普通图书阅览室和特藏室。经清理历年藏书，有善本30种、312册，其中《四书考》为全省唯一藏书，线装本365种、3458册；其它图书4.73万册。
1990年5月27～6月2日，开展图书馆服务宣传周活动。同年6月初，图书馆派代表参加省文化厅、省图书馆学会、省图书馆在潍坊召开的图书馆如何为农业服务研讨会，提供论文四篇。1990年底持图书阅览证的有900人，借阅31176人次；书刊流通为84504册次。全年收订报纸41种、44份，收订杂志155种。