至元三十一年（1293年），东平府在龙山设立龙山书院，距府治东30公里。龙山书院位于龙山之阳。龙山风光秀丽，春秋佳日，登山巅南眺，清河似练，汶水如带，戴坝如龙，汶城塔影，隐约可见，令人心旷神怡，流连忘返。它历经元、明、清三代，曾是山东三大书院之一，历史上有许多著名学者在此主讲，许多成名学者曾在此就读。
元代“世称三王”的文学家王构、王旭和曾任东平学正的王磐，都担任过龙山书院的主讲。元代农学家、东平人王祯谢职旌德县尹归里后，于元仁宗延佑年间(1314年-1320年)，曾在龙山书院主讲其农业科学名著《农书》。据传，元代戏曲家，时人称为“小汉卿”的东平人高文秀，青年时代亦曾在龙山书院读书、习曲。明、清两代，书院亦人才辈出。明进士，官至兵部尚书，东平人王宪及其子王汝孝都曾在龙山书院读过书。王汝孝，嘉靖五年进士，官至礼部郎中改翰林修撰。他遵父嘱，在龙山书院修碑撰文，感谢母校培育。碑文曰：“清河泱泱，龙山苍苍。桃李天下，母校永光。”仅清道光年间(1821年-1850年)，东平就考中了王圣来等3名进士，李树朴等12名举人，孟衍观等31名贡生。
据龙山大殿东深沟上的悬石刻文记载:解缙，江西吉水人，明代洪武年间进士，授中书庶吉士。被罢官后，曾游学来龙山书院，并在龙山一块悬石上读过书。后人在那块悬石上刻诗：学士被罢官，游学至龙山，钻过药王洞，住过太子殿，曾饮圣井水，悬石为书案，成祖永乐初，又任翰林院。
乾隆二十五年（1760年），东平知州普尔泰重修书院，并将书院移建于州城牌坊街路西马公祠旧址。道光二十六年（1846年）又移建于书院街路北（今东平一中校址）。全国人大常委会原委员长万里早年曾在书院读书。