20年代以前，菏泽地区没有公共图书馆，许多珍贵善本书均藏于私人之手。在历史上，曾涌出一批私人藏书家。1923年前后，巨野、菏泽等县开始建立公共图书馆，没有图书馆的县，在民众教育馆内设立了图书部或阅览部，正式出现了图书馆事业，但因条件有限，藏书寥寥，加上战乱兵燹，各县公共图书馆大部分闭馆，幸存者亦名存实亡。
建国后，全区图书馆事业逐步发展。1949-1956年，各县文化馆都设有图书室，其中人口较集中的菏泽、曹县相继建立了图书馆。1958-1962年期间，“共产风”、“浮夸风”给图书馆事业造成很大混乱，农村图书室亦时有时无，已建立的公共图书馆也都与文化馆合并。直到1963年以后，图书馆事业才开始复苏。1966-1976年，各县图书馆被封，管理人员被调离，许多图书资料被名为“四旧”、“毒草”，或付之一炬，或化为纸浆，或被人盗窃，损失惨重；1976年粉碎“江青反革命集团”以后，通过拨乱反正，图书馆事业进入一个较快的发展时期，全区有8个县市、4处大专院先后建立了图书馆（室），城乡基层图书室发展到567处，总计藏书近240万册，图书管理人员770余名。