1951年1月，滋阳县人民检察署成立，1955年1月，改称检察院。1958年11月，滋阳、曲阜两县合并，称曲阜县检察院。1962年1月，滋阳、曲阜分治，改称兖州县人民检察院。1968年2月，成立中国人民解放军兖州县公安机关军事管制小组，对公、检、法机关实行军事管制。同年12月，人民检察院被取消。1978年6月，恢复县人民检察院。10月1日挂牌办公，有检察人员11人，设法纪检察组、侦查监督组、审判监督组和办公室。1981年增设控告申诉检察组。1984年4月，组改称科。1987年，检察院配备副县级检察长。1989年，全院共有干警71人，其中，正、副检察长4人，检察员40人，设刑事检察一科、刑事检察二科、经济检察一科、经济检察二科、法纪检察科、监所检察科、控告申诉检察科、刑事技术科、政工科、研究室、办公室、税务检察室、工商检察室、经济法纪罪案举报站。1994年7月，设立反贪污贿赂局，为院属正科级单位。
1995年，全院有干警101人，其中，正副检察长5人，检察员59人。设办公室、政工科、法律政策研究室、行政监察室、档案资料室、批捕科、起诉一科、起诉二科、起诉三科(少年起诉科)、法纪检察科、监所检察科、控告申诉检察科、行政民事检察科、刑事技术科、驻兖州镇检察室、驻新兖镇检察室、驻市国税局检察室。反贪污贿赂局设侦查一科、侦查二科、综合科、预防科，全院共有21个科室。