1928年(民国17年)以前，胶县无检察机构，民事、刑事诉讼案件由县知事兼理。国民政府时期，因检察机构独立与法院易内生掣肘，故将检察从属于法院。1929年7月1日，胶县地方法院成立，内设检察厅，配检察官1名、检察吏1名、书记官1名，后改称检察处。1939年7月，成立日伪胶县地方法院检察处，设首席检察官、检察官、书记官等伪职。1943年12月，成立日伪胶县地方检察署，内设侦讯处、书记室等伪机构。1945年8月，抗日战争胜利，国民党胶县县政府迁入胶城，重建胶县地方法院，设检察处。1947年11月，胶城解放，国民党胶县地方法院检察处流亡青岛，于1949年6月青岛解放前夕解体。
建国后，检察机关成为国家和地方的重要机构之一。1950年5月，胶县人民检察署成立，与胶县公安局合署办公。公安局长兼任检察长，有检察秘书1名、检察员1名。驻寺门首街。1955年6月，胶县人民检察院成立，配检察长1名、工作人员5名。1956年上半年，配副检察长1名，有工作人员7名，内设行政组、审查批捕起诉组、侦查组，驻南观街1号，主要任务是对县公安机关移送的案件，审查是否批准逮捕；审查决定是否向县法院提起公诉及县法院开庭审理时出庭支持公诉，为“侦查监督”和“审判监督”。1957年，设侦查组、侦查监督组、审判监督组、一般监督组和秘书室，有工作人员16名，驻西巷子13号。1959年，设批捕起诉组、社改监所检察组和办公室。
1968年2月，胶县人民检察院，实行军事管制，公安局、检察院、法院合署办公，称中国人民解放军胶县公安机关军事管制小组。内设法制组，负责检察业务。
1978年7月。恢复胶县人民检察院，内设法纪检察组(兼信访)、批捕起诉组，有工作人员8名，驻兰州东路115号。1979年7月，设刑事检查一股(兼监所检察)、刑事检察二股、经济检察股、法纪检察股(兼信访)、秘书股，有工作人员40名。1984年，将下设股改为科。至1987年，配正、副检察长各1名，内设刑事检察一科、刑事检察二科、经济检察科、法纪检察科、监所检察科、控告申诉检察科、政工科和办公室，共有工作人员51名，驻兰州东路111号。
胶州市检察长更迭表
┏━━━━━┯━━━┯━━━━━━━━━━━━━┯━━━━┯━━━━━┯━━━┯━━━━━━━━━━━━━━━┯━━━━┓
┃姓 名 │性别 │任职时间 │籍 贯 │姓 名 │性别 │任职时间 │籍 贯 ┃
┠─────┼───┼─────────────┼────┼─────┼───┼───────────────┼────┨
┃陈天有 │男 │1950．5～1951，8 │荣成市 │孔志民 │男 │1958．9～1959．2 │牟平县 ┃
┠─────┼───┼─────────────┼────┼─────┼───┼───────────────┼────┨
┃韩德劳 │男 │1951．10～1951．11 │五莲县 │刘秉公 │男 │1963．2～1964．7 │莱芜市 ┃
┠─────┼───┼─────────────┼────┼─────┼───┼───────────────┼────┨
┃商景义 │男 │1952．3 │莒 县 │贾鸿南 │男 │1964．81968．2 │胶南县 ┃
┠─────┼───┼─────────────┼────┼─────┼───┼───────────────┼────┨
┃宁祥进 │男 │1956．3 │胶州市 │王吉奎 │男 │1978．3．25～1980．10 │胶州市 ┃
┠─────┼───┼─────────────┼────┼─────┼───┼───────────────┼────┨
┃鲁振忠 │男 │1955．12～1956．9 │莱阳市 │刘宗绪 │男 │1981．1．14～1984．5 │胶州市 ┃
┃ │ │(代 理) │ │ │ │ │ ┃
┠─────┼───┼─────────────┼────┼─────┼───┼───────────────┼────┨
┃祁际峻 │男 │1956．9．14～1958．8 │胶州市 │姜言桂 │男 │1984．6．30～1987．12 │昌邑县 ┃
┗━━━━━┷━━━┷━━━━━━━━━━━━━┷━━━━┷━━━━━┷━━━┷━━━━━━━━━━━━━━━┷━━━━┛