曲阜孔府大门内景
孔府是孔子后代的公署，兼有私家宅第的性质，所以有关的历史文献很少。特别在宋以前，孔子后代虽有奉祀君、褒成君、褒成侯（汉）、宗圣侯（魏）、奉圣亭侯（晋）、崇圣大夫、崇圣侯（北魏）、恭圣侯（北齐）、邹国公（北周）、绍圣侯（隋）、褒圣侯、文宣公（唐）等封号，但爵高位低，加之有关府第的记载付诸阙如，我们无从详细考察孔子嫡孙居宅的情形，只能就所见资料稍作探讨。
孔子死后，故宅被改为庙宇，子孙们大都依庙居住。十三代孔霸因仕官至太师，封褒成君，食邑八百户，爵关内侯，赐金二百斤、宅一区，户籍由鲁县（今曲阜）迁往长安，可见那时子孙多住在故里。孔霸不愿出任丞相，请求以食邑奉祀孔子，汉元帝同意了他的请求，命将孔霸长子孔福的户籍由长安迁回鲁县。东汉时，族孙仍多住在曲阜。元和二年（公元85年），汉章帝过曲阜祭祀孔子庙，召见孔氏二十岁以上男性后裔六十三人，并赐给嫡孙褒成侯及孔姓男女帛。延光三年（公元124年），汉安帝祭祀孔子后也召见褒成侯和孔姓男女。看来子孙们都是依庙居住，但是长孙褒成侯应该是居住在京师洛阳。永兴元年（公元153年）所立的乙瑛碑说“辟雍礼未行，祀先圣师，侍祀者，孔子子孙”，负责在京师祭祀孔子的子孙当然是孔子的嫡长孙，乙瑛说“褒成侯四时来祀，事已即去”，孔子嫡长孙褒成侯每年四季来祭祀孔子，祭祀完毕就返回京师，孔庙没有专管人员，“庙有礼器，无常人掌领”，所以乙瑛请求“置百石卒吏一人典主守庙”，经皇帝同意，以傍孙孔和为百石卒吏，地方官并为之造“百石吏舍”。
魏晋南北朝时期，社会动荡，对袭封奉祀封号的孔子嫡孙的记载史书和孔氏宗谱几乎全不相同，居处也无从得知了。隋唐时期，社会比较安定，孔子嫡孙的奉祀恢复正常。唐开元后，嫡孙除任文宣公外，还兼任地方官，如兖州长史、功曹、参军、泗水令、曲阜令、曲阜县尉等，这时，嫡孙大约住在孔庙附近。
至宋代，孔子嫡孙的府第始有较为详细的记载。从记载看，孔府历史可分为四个时期，即宋至元的依庙为宅时期，明洪武十年（1377年）开始的庙府分立时期，明弘治十六年（1503年）的奠定规模时期和明末至清末的添建维修时期。
据宋代孔传《东家杂记》“宅图”说：“祖殿廊（指孔庙正殿东庑——摘者注）东门外曰斋厅，斋厅之东廊门外曰客位，直斋厅后曰斋堂，斋堂后曰宅厅，直宅厅后曰家庙。自客位东一门直北曰袭封视事厅，直厅后曰恩庆堂，堂之东北隅曰双桂堂”，衍圣公的官衙袭封视事厅位于大成殿东庑外。书成于南宋绍兴四年（1134年），而孔传又是建炎二年（1128年）由曲阜南迁的，记载是可信的。金代成书的孔元措《祖庭广记》并收有“宋阙里庙制”图，图与记载相合，但更为细致。从图来看，孔氏府第位于孔庙的东侧，一周墙垣将庙府围在一起。当时不仅长孙衙署位于庙内，子孙也依庙居住，“诸位皆列居于祖殿之后，恩庆堂东西”。“今聚族二百口，皆尚书公子孙，依庙为宅……士人不以姓名称，止曰庙宅”，诸位即文宣公孔仁玉的后裔。府第附于庙内是当时的环境造成的，宋大中祥符五年（1012年），曲阜县城迁于寿丘，孔庙位于县城以西八里的旷野中，“子孙依庙为宅”，虽“监修祖庙者窘于用度，不敢以官钱营饰私居”，但为求安全，结垣固守，形成了府第附于孔庙一侧的布局。
金代中期，孔庙有所扩大，衍圣公府第也随之进行扩建。孔元措《祖庭广记》有“金阙里庙制”图，书成于正大四年（1227年），距金明昌修庙仅三十多年，而绘图者为太学生马元章，绘图精细，记载当是可信的。从图看，在宋代官衙以东，又新增袭封宅一组建筑，官衙西南角又建延宾斋一院，府第的规模和形制已大体完备。金末，孔庙毁于兵火，1252年杨奂东游拜谒孔庙曾于“袭封廨署读姓系碑文”，说明府第幸免于兵燹。
元代时，孔氏家族多难。宪宗二年（1252年），五十三代衍圣公孔浈被夺爵，北宗中绝四十三年，至元贞元年（1295年）始以五十三代孙孔治为衍圣公，延祐三年（1316年）又罢孔治之子孔思诚而改封孔思晦。孔思晦袭封后虽以恢复孔庙旧制为己任，但窘于用度，维修金丝堂就不得不补入自己的俸禄，所以终其生“所居就袭封旧廨，不改作，终不构私室”。其子孔克坚袭封，至正十六年（1356年）入京为官，孔希学继袭，但兵乱已起。终元一代，衍圣公府没有扩建的记载，大约仍在继续使用金代府第。
曲阜孔府仪门
明开国后，朱元璋即召孔子嫡孙去南京，洪武元年（1368年）封孔希学为衍圣公，秩二品，阶资善大夫，百官朝会，班列丞相之后。为显示优待孔子嫡孙，“养以禄而不任以事”，衍圣公不再兼任地方官，专主孔子祀事。衍圣公地位提高，专主祀事，就有必要建设相应的衙署。洪武十年，敕修衍圣公府，五十六代衍圣公孔希学奉敕创建。正德本《阙里志》说：“袭封衍圣公府在今家庙东，外门与今庙外东便门相邻，洪武十年宣圣五十六代孙袭封衍圣公孔希学创造。正厅五间，后厅五间，东西司房各十数间，外仪门三间。弘治十六年重建，稍移于东，在今衍圣公宅居前。”从上述记载看，府庙已经分立，而且公署已具相当规模。永乐二十二年（1424年），五十九代衍圣公入京祝贺仁宗即位，蒙赐第于东安门之北，归家后，“作堂于其家，而匾曰‘崇恩’”，新添崇恩堂。
弘治十六年的重建，奠定了今天孔府的规模。此次扩建后的孔府，明崇祯本《阙里志》记载说：“袭封衍圣公府，附圣庙东，与庙墙临，洪武十年衍圣公希学奉敕创建，弘治十六年重修。其制：头门三间，二门三间，二门内有仪门，仪门之北正厅五间，东西司房各十间，后厅五间，穿堂与正厅相连，退厅五间，东西廊房各五间，左为东书房，右为西书房。退厅东南为家庙，祀高曾祖祢五代衍圣公。退厅之后为内宅，楼阁房室不能俱载。”官衙部分的记载可谓详尽，与今存建筑完全相符。
弘治年间扩建后，嘉靖、万历年间曾加以维修。清代又增加了部分建筑。康熙二十三年（1684年）圣祖南巡后于东学新建宸翰阁以存放圣祖御笔墨宝，道光三年（1823年）于氏死后于东学后部偏西创建慕恩堂以祀七十二代衍圣公孔宪培夫妇。道光十八年，七十三代衍圣公孔庆镕请得帑金六万六千四百余两大修，几乎对所有建筑揭瓦拆盖，至二十三年竣工。光绪十一年（1885年），内宅因不慎引起火灾，烧毁前后堂楼、配楼、佛堂楼等七座楼房。次年，山东巡抚张曜发起募捐，耗银八万余两，按旧式重建。1930年，中原大战，前堂楼、后东楼等遭受炮击，次年重修。1936年，七十七代奉祀官孔德成结婚，维修中路和西学，油漆彩绘并改换了许多建筑的门窗。但清末以后，孔府日趋衰落，经济拮据，而又不能请得专款，无法进行修缮，致使东路建筑大部倒塌，东学毁坏无存。
