赏石文化，离不开中国古典园林的形成与发展。魏晋南北朝是“文学的自觉时代”，是中国独特美学思想的形成期。士人回归自然、注重意境和生命的体认，成为风尚。 庄子说：“天地有大美而不言。”被称为山水诗创始人的谢灵运（385～433），在《山居赋》中说：“敞南户以对远岭，辟东窗以瞩近田。”这标志着当时的园林追求自然与意境的自觉。谢灵运的山居在会稽山（今绍兴）中，包括南北两山之间的大片山水，修建了两处宽大的宅居。人居山中，意在境内，是当时士人的典型心态。 
陶渊明（365～427）的田园在浔阳柴桑山栗里（今江西九江西南）。他在《归园田居》中说：“少无适俗韵，性本爱丘山。”在《饮酒》诗中说：“采菊东篱下，悠然见南山。”这也是晋人山岳情结与意境追求的写照，借景成为晋人园林的特色。宋人程师孟有诗：“万仞峰前一水傍，晨光翠色助清凉。谁知片石多情甚，曾送渊明入醉乡。”清袁枚有《过柴桑乱峰中，蹑梯而上观陶公醉石》诗：“先生容易醉，偶尔石上眠。谁知一拳石，艳传千百年。”醉石是古代石文化的组成部分，尚不具有赏石欣赏的美学特质。 
唐代白居易（772～846）有《中隐诗》：“大隐住朝市，小隐入丘樊。丘樊太冷落，朝市太嚣喧。不如作中隐，隐在留司官。”白居易在《池上篇·序》和《磬石铭》诗中记载：乐天在洛阳履道里的园林占地十七亩左右，园中有天竺石二、太湖石五、青石三、磬石一。酒酣琴罢，乐童合奏，“曲未竟，而乐天陶然石上矣”。“中隐”思想在中晚唐被普遍推崇，园林是实现理想的重要场所。有唐一代，在洛阳就有裴度的集贤里、牛僧孺的归仁里、李德裕的平泉山庄、白居易的履道里等著名园林。这些园林一改前朝借景手法，将山岳化为奇石，成为园中的景观。唐代的赏石以大中型为主，小巧奇石偶尔有之，不占主导地位。 
宋代的园林发展日臻完善，园中不但有独立的奇石，叠石缀山也蔚然成风。大者如赵佶在汴梁的艮岳，小者如苏舜钦在姑苏的沧浪亭，都是意韵深隽的盛景。与此同时，南唐至两宋文房日趋精致完善，几案清玩也成为文人珍