1994年12月17日，国务院以国函[19941131号文批准撤销临沂地区及县级临沂市，设立地级临沂市。地委、行署积极开展了撤地设市工作。1995年4月24日至29日召开了临沂市第十四届人民代表大会第一次会议，选举产生了临沂市人民政府领导班子，组成了第一届临沂市人民政府。1995年4月29日举行了建市大会，完成了撤地设市工作。
临沂市人民政府成立(1995年4月29日)以前，地区行署领导班子由专员张守业，副专员张怀三、胡公厘、郝洪琪、綦敦祥、郑斯仁、谢恩学、牛泉然、李荣强组成。党组书记张守业，副书记张怀三，党组成员胡公厘、郝洪琪、綦敦祥、郑斯仁、谢恩学、牛泉然、李荣强、张伟祥，行署秘书长张伟祥。
新成立的市政府组成部门是：临沂市人民政府办公室、临沂市计划委员会、临沂市经济委员会、临沂市经济体制改革委员会、临沂市教育委员会、临沂市科学技术委员会、临沂市公安局、临沂市国家安全局、临沂市监察局、临沂市民政局、临沂市司法局、临沂市财政局、临沂市人事局、临沂市劳动局、临沂市建设委员会、临沂市交通委员会、临沂市农业委员会、临沂市农业局、临沂市林业局、临沂市水利局、临沂市商业局、临沂市粮食局、临沂市对外经济贸易委员会、临沂市文化局、临沂市广播电视局、临沂市卫生局、临沂市体育运动委员会、临沂市计划生育委员会、临沂市审计局、临沂市统计局、临沂市地方税务局、临沂市工商行政管理局、临沂市物价局、临沂市环境保护局、临沂市土地管理局、临沂市技术监督局、临沂市地质矿产局、临沂市乡镇企业管理局、临沂市民族宗教事务局、临沂市扶贫开发办公室。
市政府直属机关是：临沂市人民政府法制局、临沂市档案局、临沂市市直机关事务管理局、临沂市畜牧局、临沂市水产局、临沂市农业机械管理局、临沂市物资局、临沂市对外贸易局、临沂市纺织工业公司(挂局的牌子)、临沂市机械工业公司(挂局的牌子)、临沂市电子工业公司(挂局的牌子)、临沂市化学工业公司(挂局的牌子)、临沂市煤炭工业公司(挂局的牌子)、临沂市建材工业公司(挂局的牌子)、临沂市医药公司(挂管理局的牌子)、临沂市黄金工业公司(挂局的牌子)、临沂市第一轻工业公司(挂局的牌子)、临沂市第二轻工业公司(挂局和集体工业联社的牌子)、临沂市冶金工业公司(与钢铁厂合署)、临沂市供销合作社、临沂市高新技术产业开发区管理委员会、临沂市人民政府外事办公室(挂旅游局的牌子)、临沂市人民政府侨务办公室。
副县级行政单位是：临沂市人民防空委员会办公室、临沂市国有资产管理局、临沂市无线电管理委员会办公室、临沂市机构编制委员会办公室、临沂市科学技术干部处、临沂市退休干部管理处、临沂市税收财务物价大检查办公室、临沂市退伍军人和军队离退休干部安置领导小组办公室、临沂市职工教育办公室、临沂市农业区划委员会办公室、临沂市公证处、临沂市公安局交通警察支队、临沂市人民检察院反贪污贿赂局、临沂市工业生产总调度室、临沂市技术进步工业结构调整办公室。