秦朝，琅琊郡治琅琊县（今山东青岛琅琊镇夏河城），辖今山东省东南部。

西汉时期治东武县（今山东诸诚)，领51县。包括今山东半岛东南部的临沂市区以东、海阳、即墨、崂山、胶县、胶南、沂水、莒南、日照、五莲、赣榆及黄岛等地。属徐州刺史部。

东汉建武十七年（41)，光武帝封子刘京为琅琊王，琅琊郡改为琅琊国，建都于莒县（今山东莒县城阳镇）。建初五年（80）琅琊国移都开阳县（今山东临沂市区），领13县。建安二十一年（216)，曹操杀琅琊王刘熙，国除为郡。

三国魏仍治开阳县（今临沂市区），领开阳、临沂、阳都、缯、郎丘、华、费、安丘、剧9县。晋朝因之。

北魏，治即丘县(今临沂市兰山区兰山街道古城村)，领即丘、武阳、费县、新泰四县，属北徐州。

北齐、北周因之。

隋开皇三年（583）废，各县属沂州。大业三年（607），沂州复为琅琊郡，治临沂。共辖7县：临沂、费、颛臾、沂水、东安、莒、新泰。

唐朝武德四年（621年）改沂州，治临沂。天宝元年（742年）复为琅琊郡。乾元元年（758年），复改称沂州。辖5县：临沂、费县、沂水、承县(今兰陵县部分在其境内)、新泰(今蒙阴县部分在其境内)。