该馆发端于德国侵占时期建立的胶澳图书馆及为上层人士服务的尊孔文化藏书
楼。1923年，两机构合并建立了公立通俗图书馆。1930年7月改称青岛特别市市立
图书馆，1945年12月改称青岛市立图书馆。至1949年，全馆有职工11人，藏书1万
余册。
1949年6月青岛解放后，该馆于当年改称青岛市人民图书馆，其藏书以轻纺、
化工与地方文献为主要特色。该馆下设采编部、书目参考部、科技服务部、借阅部
和研究辅导部。40年来，该馆馆址几经变更，面积已从1949年的300平方米增加到
1990年的1500平方米。1985年，经上级辟地拨款，在山东路兴建8600平方米的新馆。