上昔日有榭，为蔡伦之寝殿。
整个蔡伦陵园分为南北两部分，墓区居北，其南为蔡侯祠，蔡侯祠的中轴线上由南而北依次为山门、拜殿、献殿，正殿大门上高悬有唐代德宗皇帝的御书“蔡侯祠”匾额。殿中有蔡伦塑像。右侧壁上绘有“蔡伦纸”制作工艺流程图，左侧壁上绘有蔡伦于公元114年封为龙亭侯的谢恩图壁画。在蔡伦祠中轴线两侧还有钟楼、鼓楼、厢房、戏楼等古建筑。
2006年5月25日，蔡伦墓和祠作为清代古墓葬，被国务院批准列入第六批全国重点文物保护单位名单。