书香门第的香指的是

芸草香。古人为防止书籍被蠹虫损坏，会在书籍里面夹上几片香草。这种香草叫芸草，是多年生草本植物，有特异清香气，即使枯萎香气也不会变淡，可以驱除蠹虫，古诗中就有“芸叶熏香走蠹鱼”的描写。所以“书香”的“香”指的是“芸草香”。

因为书中常夹芸草的缘故，所以，与“芸”字有关的词多与书籍有关。例如用“芸编”指书籍，“芸帙”指书卷，用“芸阁”“芸馆”指代书斋，甚至国家藏书阁也命名为“芸署”，负责校勘书籍、订正讹误的校书郎雅称为“芸香吏”，唐代徐坚的《初学记》中说：“芸香辟纸鱼蠹，故藏书台亦称芸台。”这些都是从芸香而来。