栖霞城位于县境中部，地理座标为北纬37°18′，东经120°49′。
县城为群山环抱，南、北、西三面白洋河环城而流。东有老灵山，南有翠屏山，西有郭落山，北有公山蜈蛸崖作天然屏障，故素有“山城”之称。
1134年（金天会十二年），始在马姓茔地建土城。1470年（明成化六年），知县娄鉴稍加修筑，垒以小石。1558年（明嘉靖三十七年），知县李揆扩其规模并砌以砖石。1578年（明万历六年），知县鲍霖将城墙加高至丈余，增宽至六尺，并设四座城门：东曰“寅宾”，南曰“环翠”，西曰“迎恩”，北曰“迎仙”。其后300余年，屡修屡塌，未复原迹。1945年初，遂由县民主政府组织群众彻底拆除，逐步辟为街道和住宅区。
县城为历代县署驻地，旧县署遗址在衙前街。1945年初，中共栖霞县委和人民政府进驻栖霞县城，分别在北悦心亭和旧县署内办公。1956年，中共栖霞县委、栖霞县政府机关分别由北悦心亭和旧县署迁至今山城二路东段街北两大院。1985年11月迁至山城四路北侧新建大院。
清朝时期，城区规模狭小，有“城小如斗”，“户数百家”之说。县城主要街道有七条：迎旭街、纳董街、毓秀街、挹爽街、仰极街、怀敬街和通司巷，狭窄而高低不平。城内居民点，自古以“关”、“里”、“街”、“坊”命名，习惯称西关、南坊、南关、北关、北街、北门里、西门里和南门里。抗日民主政府迁入县城后，始将居民点划为光明、胜利、顶下（后称解放）、聚魁、翠屏（后称红旗）、阳疃（后称先锋）、枣行等七个行政村。1958年将枣行以外六村并为城镇大队，至1984年改称为城关村。
民国初期，县城亦无大变化。人口千余，多数业农，务工经商者极少。西关和南沙河是城乡物资交流场所，每逢五排十（后改为四、九）赶大集。城里有新诚、新华、福生堂等几家私人药房，设有霞山小学和县立中学。
抗日战争爆发后，县城沧陷。城东顶驻扎日本侵略军，城北古镇都驻日伪军“新民会”，城西白洋河畔筑有日伪军大型炮楼，城内旧县署驻日伪政府，并在城外山头修筑防御工事。处于日伪军盘踞下的栖霞城，人民生活不得安宁，生产不能发展，一片荒凉景象。
中华人民共和国成立后，在共产党和人民政府领导下，县城建设逐步恢复发展。50年代初，开始整修北大街，修建县委、政府东西大院和大礼堂。1958年建成跃进大桥。是年，工业施工项目88个，厂房竣工面积5031平方米。60年代，因“文化大革命”影响，县城基本建设停滞。70年代有所发展，街面相继出现了旅馆、百货大楼、新华书店楼、邮电局楼、影剧院等许多公共建筑，县城容貌逐渐改观。
栖霞县清代县城图
1980年，县人民政府根据经济建设发展形势要求，重新制定了《栖霞县城总体规划》，规划了区域范围和功能分区，对道路结构和各项专用地作了全面调整和布局，经省政府批准实施。此后，县城基本建设飞速发展，日新月异。到1985年底，新辟和拓宽取直道路共31条，主路12条。计45.45万平方米，其中沥青路面7.5万平方米。同时在白洋河上又架起了翠屏桥和振兴大桥。并在城南白洋河修了3座小桥，通往南山新辟生活区。在霞光三路北端，建起长春桥，直通古镇都。
随着县城道路的拓展，各项公共建筑亦随之兴建，各行各业相继建起了许多造型美观、大方适用的新楼房和若干住宅区。到1985年底，县城人口发展到20634人，城区总面积达2.7平方公里。工商财贸、交通运输、文教卫生等各项事业日益兴旺发达，为全县政治、经济、文化交流的中心。
