1928年11月，中共沂水县委派党员李松舟、黄简斋、刘华亭到三区 (今沂源县东里、韩旺、张家坡、中庄一带) 东里店小学开展党的工作。12月初，小学党支部成立。校长李松舟任书记，教员黄简斋、刘华亭分别任组织、宣传委员。这是沂源境内最早建立的党组织。党支部建立后，先后发展教师蔡铭九、校工翟以温等人入党， 并建立沂水三区农民协会，发展了几千人的农会会员。1929年5月，因泄密中共沂水县党组织暴露。12日，国民党沂水县党务指导委员会和县政府派兵包围东里店小学，李松舟、刘华亭和到该校视察工作的孙固斋同时被捕，党支部遭到严重破坏，被迫停止活动。
1929年夏，共产党员王涛(王富春)在家乡南流泉村(今沂源县张家坡乡)开展党的活动， 筹建党的组织，先后发展李贵德、李道德等人入党。1930年4月，山东省立师范学生许寿青、庞业存、王瑞甫和济南乡师学生李赐昌、翟修义、梁公衡等共产党员，在鲁村(时属蒙阴县八区)以教学为掩护发展党组织，成立鲁村小学党小组，许寿青任组长。 1个月后，许寿青去北平求学，梁公衡继任组长。党小组创办了鲁村民众夜校，并利用编演文艺节目等形式宣传组织民众。是年冬，党小组活动受到国民党蒙阴县督学的干预，党小组为保存实力，借放寒假之机，在校党员教师一律辞职，党小组活动停止。
抗日战争全面爆发后，在徂徕山起义的影响下，党组织在沂源境内开始发展。八路军四支队六大队于1938年4月派人到东里店建立中共沂水县第三区委员会， 耿迪甫任书记。是年9月，中共蒙阴县委派马子成到黄庄(时属蒙阴县七区) 成立中共蒙阴县七区区委，马子成任书记；10月，中共苏鲁豫皖边区省委派原蒙阴县委组织部长陈精忠到鲁村(时属蒙阴县八区)，建立中共鲁村特别支部，陈精忠任书记。12月，中共沂水县第八区(今沂源境内)委员会建立，秦昆任书记。1938年秋，八路军鲁东八支队在三岔店(时属临朐县五区)一带活动，积极发展地方党组织。年底，沂源境内有4个区委，11个党支部，党员130人。
1938年下半年，日军侵占山东大部，12月，国民党山东省政府主席沈鸿烈率省政府机关、教导团、海军陆战队退驻沂源境内的鲁村和东里店；国民党军51军，新编第4师吴化文部、 苏鲁战区游击第5纵队秦启荣部也先后退驻沂源境内。1939年6月日军两万余人对沂蒙山区进行大“扫荡”，致使沂源的斗争形势非常复杂。1943年1月， 吴化文率部公开投降日军，形势更加恶化，敌、伪、顽合流，烧杀掳掠，使沂源境内成了“无村不戴孝，处处闻哭声”，纵横数十里的“无人区”。面对复杂的斗争形势，沂源境内的党组织，一面加强党的自身建设，在斗争中求生存，求发展，一面坚持抗日民族统一战线政策，加强武装、政权建设，坚持敌后斗争。根据形势需要， 从1942年8月开始，沂源境内党组织的隶属关系作了调整：原中共沂水县委第三区委，分为三区(韩旺) 、东里、金星3个区委。三区归沂北工委领导，东里、金星两个区委归沂中县委领导；原沂水八区区委因该区沦为敌占区而停止活动；原属蒙阴县委领导的黄庄区委(后改为张黄区委)和鲁村特支(后改为鲁村区委)划归博莱县委领导。
1944年3月，八路军鲁中军区取得了第三次讨吴(化文) 战役的胜利，沂源境内大部地区解放。为巩固、扩大沂鲁山区抗日根据地，中共鲁中区委报经山东分局批准，决定在沂水八区、临朐五区璞邱、万全两乡大部(翌年蒙阴八区划入)设立沂源县。4月，鲁中区党委派出以边一峰为团长的鲁中工作团进驻沂源，筹建沂源县委、沂源县抗日民主政府。 5月初，中共沂源县委在北张良村成立，对外称八路军驻沂源办事处， 边一峰任县委书记。5月12日，沂源县委在北张良村召开各界人民代表会议，宣布沂源县抗日民主政府、沂源县参议会成立，同时组建沂源县武装、群团组织。 沂源县委建立后，直属鲁中区党委领导，1944年7月归鲁中区党委五地委管辖。 1945年4月后，鲁中区党委将蒙阴县委所辖张庄、黄庄、鲁村区委划归沂源县委领导。 1945年10月五地委撤销，沂源县委归二地委领导，1945年5月县委迁至南麻。县委建立初，在原沂水八区建立历山、青龙、安乐、太平、大泉区委，在原临朐五区(大部)建立文坦区委。至1945年底，沂源县委辖10个区委，1个党总支，125个党支部，有党员1973名。
1947年9月， 县独立营在鲁中军区独立团的支援下，全歼固守在大泉区松山子的“还乡团”顽匪，沂源县全境解放。沂源县委在全面总结对敌斗争经验的同时，开展三查(查阶级、查思想、查作风)三整(整顿组织、整顿思想、整顿作风)运动，对各级党组织进行整顿，对干部进行评功鉴定，带领全县人民重建家园，恢复生产。
1948年7月， 鲁中区党委撤消，成立鲁中南区党委，沂源县委归鲁中南区党委二地委领导。1949年底，沂源县委辖8个区委，359个党支部，有党员6293名。新中国成立后， 沂源县党的各级组织和党员逐渐公开。1950年4月，沂蒙地委改称沂水地委， 沂源县委归沂水地委领导。1951年1月，中共沂源县第一次代表大会召开，选举产生了第一届中共沂源县委员会。1956年底，县委辖9个区委，468个党支部，有党员8944人。期间，中共沂源县委领导全县人民完成土地制度的改革，开展镇压反革命，“三反(反对贪污、反对浪费、反对官僚主义) 五反(反对行贿、反对偷税漏税、反对盗骗国家财产、反对偷工减料和反对盗窃经济情报) ”运动和对农业、手工业、资本主义工商业的社会主义改造，巩固了党的领导和社会主义经济基础，促进了生产力的发展。 1956年9月后，县委贯彻执行中共八大路线，全县社会主义革命和党的建设得到发展。1958年开展的“大跃进”、人民公社化运动和“反右倾”斗争，使以高指标、瞎指挥、浮夸风和“共产风”为主要标志的左倾错误在全县泛滥，县直机关反右派斗争的扩大化，使全县一批党员干部和群众受到不适当处分。1959年5月7日至21日，各公社党的第一次代表大会选举产生公社党委。1960年底，县委辖13个公社党委，664个党支部，有党员10768名。
1962年12月， 县委按照中央《关于加速进行党员、干部甄别的通知》，为959名在“反右倾”、“拔白旗”、整风整社、民主补课等运动中受错误批判、处分的干部进行甄别平反，为57名被错划右派的人摘掉“右派分子”帽子。这些政策的落实，调整了党内关系，调动了广大党员干部和群众的积极性。1963年秋到1965年底，全县开展社会主义教育运动，即“四清”(清政治、清经济、清组织、清思想)运动，对解决干部不良作风和经济管理等方面的问题起到一定作用，但也使部分党的基层干部受到不应有的打击。到1966年5月，全县有党员12015人。
1966年5月“文化大革命” 开始后，沂源县各级党组织受到冲击，陷入瘫痪、半瘫痪状态，党的各级领导干部普遍受到批判和斗争，广大党员被停止组织生活。1967年1月，中共沂源县委被“造反”组织夺权。1970年1月，沂源县革命委员会中设立党的核心领导小组。 1972年3月，中共沂源县第五次代表大会召开，恢复中共沂源县委。县委建立后，党的各级基层组织逐步健全，组织生活开始恢复。
“文化大革命”中，党组织的发展受到很大影响。1968年秋的整党建党，是在党组织尚未建立，由革命委员会这一临时权力机构领导，指导思想极端错误的情况下进行的，错误地处分了一批党员，将一批不具备党员条件的人纳入党内，破坏了党的纯洁性。 至1976年底，全县有党员17989人，其中，“文化大革命”中发展党员5774人，占党员总数的22.1％。1976年10月，中共中央粉碎江青反革命集团后，沂源县党组织通过整顿，清除一批混入党内的不合格分子，党的组织建设得到健康发展。
1978年12月中共十一届三中全会后，党重新确立马克思主义的思想路线、政治路线和组织路线，沂源县党的工作重点逐步转移到社会主义现代化建设上来，为适应工作重点的转移，党的思想和组织建设也逐步得到加强。1980年9月至1990年9月，沂源县委召开4次党的代表大会，选举产生中共沂源县第六、七、八、九届委员会。1980至1987年，各公社(乡镇)召开党代会，选举产生新的领导班子和县党代会代表。
1983年11月至1984年2月，按照中共中央对领导干部革命化、年轻化、知识化、专业化的要求，沂源县进行机构改革，调整县委、公社党委及县直部、委、办、局和企事业单位的党委、党组。使党的各级组织在年龄结构和文化结构上发生了变化。1990年底， 县委辖29个党委、83个党组，19个总支、1126个党支部，有党员25250名。