最早的专职秘书史官就是商末建立起的秘书机构太史寮，秦汉时的尚书台的成立也标志着封建社会的秘书工作正式形成，汉桓帝时始置秘书监是中国历史上第一次将秘书名以朝廷官名，之后的而曹操置秘书令为我国秘书名称之制订开了先河。之后历代相沿几乎未有大的变动。

现于《汉书,叙传》：游博学有俊材……与刘向校秘书,每奏事,游以选受诏进读群书。上器其能,赐以秘书之副。”当时的“秘书”应理解为“秘密之书”的简称,是指宫廷内秘藏的书籍。

“秘书”这一词语的由来

据我国古代的史籍记载,东汉桓帝年间开始设立“秘书监”,相当于现在的国家图书馆馆长。而实际上的“秘书长”,汉初称“长史”,后来叫“中书侍郎”“翰林学士”等。古代幕僚的“记室”、地方官府的“主簿”都相当于秘书之类。