1931年，民国济宁县法院内设检察处。
中华人民共和国建立后，1952年2月组建检察机构，时称济宁市人民检察署，检察长由公安局长兼任。1954年9月，根据《中华人民共和国检察院组织法》规定，改称济宁市人民检察院，配有检察干部6人，1956年增至11人。1967年6月，检察院并入公安局，局内设检察科，专司批捕。1975年，根据《中华人民共和国宪法》规定，取消检察机关。1978年6月，济宁市人民检察院重新建立，时有干部12人，设批捕科、起诉科、法纪科、经济科、办公室。10月，干部增至18人，司法警察2人。1980年1月，成立检察委员会。1982年3月，充实检察干部19人。1983年10月，济宁市人民检察院改称济宁市市中区人民检察院。1990年，检察院干警增至75人，设刑事检察一科、刑事检察二科、贪污贿赂检察科、法纪检察科、监所检察科、控告申诉检察科、技术科、行政民事检察科、政工科，区税务检察室、市税务检察室、区工商管理检察室、法律政策研究室、办公室和举报站。1994年8月，原经济检察科改建反贪贿赂局，设综合预防科、侦查一科、侦查二科、侦查三科、预审科。至1995年，检察院干警共105人，设政工科、办公室、法律政策研究室、监察科、刑事检察一科、刑事检察二科、刑事检察三科、法纪检察科、监所检察科、民事行政检察科、举报中心和控告申诉检察科、技术科和区保险公司鉴定中心、市国税局征收一分局检察室、区国税局检察室、区地税局检察室、市工商局市中区分局检察室、区仙营镇检察室、区金城镇检察室、区观音阁镇检察室、区南苑镇检察室。