1994年，国家实行分税制财政体制，济宁市税务局分设为济宁市国家税务局和济宁市地方税务局；6月，济宁市国家税务局成立，为正县级单位，实行垂直管理；8月2日，济宁市国家税务局正式挂牌。市国税局设办公室、流转税管理科、所得税管理科、征收管理科、计划财务科、政治工作科、人事科、监察室、装备票证管理科、个体税收管理科、机关党委、进出口税收管理分局12个科室，以及济宁市国家税务局征收一分局、征收二分局、稽查分局、开发区分局4个直属机构和济宁振鲁会计师事务所1个事业单位。1996年5月，济宁市国税系统推行农村征收机构改革，撤销按行政区划设置的税务所，按经济区设置划分基层管理分局。1998年4月，济宁市国家税务局高新技术产业开发区分局成立。2001年3月，全市国税系统启动机构改革，撤销济宁市国家税务局直属征收分局、涉外税务分局和市中区国家税务局，成立济宁市市区国家税务局、济宁市国家税务局税收评估管理局。撤销行政科室20个、征收单位4个，分流612人，全系统人员由2375人减少至1763人。市国税局设办公室、政策法规科、税政管理科、征收管理科、财务管理科、人事科、教育科、监察室、机关党委办公室等9个科室，以及稽查局、济宁高新技术产业开发区分局、计划征收局、税收评估管理局、进出口税收管理分局5个直属机构和信息中心、机关服务中心2个事业单位。
2005年，济宁市国家税务局规范机关机构设置，明确职责分工。市局机关税政科分设为流转税、所得税2个科，人事科、教育科合并为人事教育科，计划征收科更名为计划统计科，增设培训中心（正科级事业单位），稽查局、国际税务管理处、市区局降为正科级。县（市、区）局69个基层税务分局压缩为58个税务分局和4个税务所，县（市、区）局机关撤销发票管理所，增设办税服务厅、税源管理科，计划征收科更名为计划统计科。同年，济宁市国家税务局办税服务厅设立（正科级）。
2008年9月，济宁市国家税务局直属机构稽查局由副科级升为副处级，内设机构均为副科级。济宁市各县（市、区）国家税务局稽查局，除济宁高新技术产业开发区国家税务局稽查局规格为正科级、内设机构为正股级外，其余规格均为副科级，内设机构为副股级。
2010年，济宁市国家税务局设办公室、政策法规科、流转税管理科、所得税管理科、进出口税收管理科、国际税务管理处、征收管理科、计划统计科、财务管理科、人事教育科、监察室、办税服务厅（车辆购置税）12个科室和机关党委办公室，稽查局1个直属机构和信息中心、机关服务中心、培训中心3个事业单位。下辖济宁市区、任城、兖州、曲阜、泗水、邹城、微山、鱼台、金乡、嘉祥、汶上、梁山、高新区13个县（市、区）国家税务局。除稽查局为副处级外，其他均为正科级。
2005年、2009年，济宁市国家税务局两次被中央文明委授予全国文明单位荣誉称号。