趙季西書院，在安上峰，有墨池，今池水黑色。
嶽麓書院在嶽麓峰。唐開寶中，郡守朱洞首創，以待 四方學者。至宋祥符八年，詔以「嶽麓書院」名增賜「中 祕書。」於是書院之稱，始與石鼓并甲天下。
明甘泉書院湛若水，號甘泉，廣東增城人，南京兵部 尚書。為學以「隨處體認天理」為工夫，「與陽明為友，多 所印證。嘉靖甲辰，先生年八十，因武陵蔣公信之約， 遂自羅浮攜門人駱堯知、周榮朱、黃雲淡來遊衡山」， 築室於紫雲峰之麓，與衡士講學其中，凡數月乃歸。 嘉靖甲寅，先生年九十，復來遊衡山，舟經石鼓，題詩 《講堂壁間》，詩云：「衡雲瀾睡六十日，江南痛飲蒸湘頭。 含情弔古無言說，石鼓無聲江自流。棲遲衡嶽復數 月，龐眉皓首，其顏如童人望之若仙云。」
白沙書院在甘泉書院上。按陳先生，諱獻章，號白沙， 廣東新會人。甘泉蚤承白沙之學，以公嘗寤寐衡嶽， 弗果而卒。於是另構堂於書院之上，以祠白沙。 鄒東廓書院鄒守益，字謙之，東廓其號，江西安福人。 為國子祭酒，從學陽明先生之門，深契「良知」之旨，論 義精博，師說愈明，學者並尊師之。嘉靖中，講學石鼓， 復建書院於南臺寺左，著《教言》二十五篇，以道學自 任，從遊者甚眾。後登嶽，憩方廣巖。
集賢書院在集賢峰下。太常卿夏良勝謫守茶陵，同 編修張治遊衡嶽，與知縣彭簪所議建者，集唐、宋名 賢李鄴侯、韓昌黎，朱、張二夫子合祀之。
文昌書院在縣治南關外，知縣彭簪、鄧國材建 白龍先生別墅楊時榮字仁甫，以戎籍中貴州鄉試， 歸衡山，作別墅於巾紫峰下，名其山曰「止山。」養晦自 高，不輕入公門，事親篤孝，人皆重之。止山有白龍潭， 其水可以灌田，身督畊其中，意曠如也。人稱為「白龍 先生」云。
會靈精舍在嶽廟右，博士康元積為少司馬王宗沐 建。
「寶善山房」在玉版橋。本府知府許倓建。
「《衡麓》精舍」徽州府知府王京建。
景行書院在嶽廟街右，邑人合建。
翠微館在「流杯池。」知縣彭簪建。
《雪霽堂》。
「光嶽堂」俱在嶽廟前，吉水鄧淮建。
《萬玉堂》：
「嘉會堂」在「二賢祠。」
《岣嶁書堂》。
會講堂在石鼓山。
《高齋》。
竹院，在回鴈峰。
《梅雪堂》在花藥山。
望雲亭，在南嶽半道亭畔。松杉桂皆古物，行人可憩。 宋范致能《記》中稱「憩食望雲亭」，即此。
「望日亭」在祝融峰東。
省心亭在半山，人呼為「半山亭。」分守姚弘謨建。近知 府鄧以誥重建。
峻極亭在祝融峰頂，御史唐符建。
「道人亭」在岣嶁峰。
嶽心亭在擲缽峰。
「凝碧亭」在雲居峰。
《風雩亭》在嶽麓峰。
《極高明亭》在嶽麓峰。
「玉虹亭」在雙石峰。
合江亭在石鼓山。同知沈鈇豎石碣於下，題「濯纓濯 足」四字，又名曰「滄浪亭。」
乾坤勝覽亭在祝融峰。舊有亭，上封寺僧鑄鐵佛其 中，提學僉事蔡潮命諸生綦組綬輩舁去之，立石亭 中，刻「乾坤勝覽」四字。
契合亭在祝融峰下。《文選》：「郎中高簡逢僧與語契合 處。」
仰高亭在嶽山後五里，提學蔡潮建。
《駕鶴亭》在紫霄峰。
《半雲亭》：
「望嶽亭」在花藥山。
流杯亭在巾紫峰下，知縣鄭冕修。
一覽亭在巾紫峰上，知縣彭簪建。
瀉洪亭在巾紫峰下。
飛瀑亭在巾紫峰下。泰和劉魁議建。
《繡壁亭》：
超然亭俱在流杯池，知縣彭簪建。
《天聚亭》在嶽山下。
「開雲樓」在嶽廟前。
「仰高樓」在石鼓山。
大觀樓在石鼓山巔。高麗弘敞，登之，盡覽衡郡勝概。 巡按御史史記事、分巡僉事鄭雲霄同建，有記。 穹林閣在祝融峰。
「藏書閣」，在嶽麓峰
