建国初，档案管理没设专门机构。1958年12月建立县档案馆。1963年3月成立兖州县档案局和兖州县档案馆，局、馆合署办公，工作人员3人。“文化大革命”期间，人员调离，机构撤销。1973年以后，档案工作由县委办公室秘书组管理。
1979年12月，恢复档案局，有副局长1人，档案管理人员3人。1984年5月改为档案科，隶属县委办公室，有工作人员7人，其中副科长1人，巡视员1人。1985年9月，改为档案局，列入政府编制。档案馆和档案局合署办公，局长1人，副局长1人，巡视员1人，档案管理人员5人。1990年县档案局长兼馆长，副局长兼副馆长，档案管理人员9人。下设办公室、文书档案指导股、科技档案指导股、档案管理股，档案管理人员9人。1993年，进行行政机构改革，撤销档案局，保留档案馆。1995年9月，恢复设立兖州市档案局，工作人员13人，其中设局长(兼任馆长)1人，副局长(兼副馆长)3人。下设办公室、文书档案指导科、科技档案指导科、档案管理科、编研科。