東漢建安十三年，孫權提平東校尉賀齊為威武中郎將，令其討伐黟、殲等地的山越，平叛後獲得大量山越人口。黃武四年，因安置山越民致使人口增多，遂析富春縣地增設建德、桐廬、新昌三縣，屬吳郡。並於明清桐廬縣治以西十五里漏港灘築有城池。
清初桐廬縣圖
此即桐廬建縣之始，在桐廬縣誌中記載有“桐溪”“桐山”“桐洲”，其名由來蓋因建縣前地屬富春縣桐溪鄉。桐溪（江）為徽州、衢州、金華三水入境合流之稱謂，進入桐廬境內後再接入富春江（新安江桐廬至富春段）。
1843年桐廬縣輿圖
南朝陳禎明元年，桐廬縣改屬錢唐郡。隋開皇九年平滅南陳，桐廬縣被廢，其地併入錢唐縣，屬杭州，三國古城亦遭廢棄。仁壽二年鴻臚寺丞蘇倫復置桐廬縣，將新縣治設於桐江西山莊，屬睦州。
清代桐廬縣志縣治圖
唐武德四年，李子通偽朝析桐廬西北七鄉置分水縣，又設嚴州治桐廬縣。武德七年江南平定，朝廷又廢嚴州，桐廬仍隸睦州。貞觀二十年，移縣治於桐廬鄉，並築城。開元二十六年，因縣城低窪易澇，遂移治桐江口，但並未築城。
民國桐廬縣簡圖
唐末光化三年，佔據杭州的錢鏐將桐廬劃歸杭州鎮海軍節度。宋太平興國三年，吳越納土歸宋，桐廬復屬睦州。此後睦州歷經宋元明清四代改名嚴州、建德路、建安府、嚴州府，桐廬始終隸屬於其下。
1932年國民政府陸軍部測繪桐廬縣治
1943年浙江省桐廬縣圖
宋朝桐廬縣額設廂軍175人。明朝桐廬在嚴州守禦千戶所防守範圍內，本縣分守官兵283人。清代境內設桐廬、中山、銅沙洲三汛，負責境內治安補盜及糧食水運安全。
1943年桐廬縣城區圖
1968年美國衛星拍攝的桐廬縣城區域
桐廬雖無城，但有城門四座。南門建於宋神宗元豐年間，由知縣孫景初建，名為望杭，明嘉靖四十三年重建改名迎薰。北門亦建於宋代，原名通衢，嘉靖四十三年重建改名拱極。東門建於明崇禎六年，名曰啟明。西門始建年代不詳，原名長庚，雍正元年重修改名為阜成，鹹豐年間因戰亂被毀，光緒初移址小嶺重建，改名四美，民國時又移建於山麓仍用長庚舊名。
