书签源于春秋战国时期，在竹筒中插入动物的牙骨、吊牌之类来做阅读进度的标记，称为“牙黎”，即象牙制成的书签。

“书签”这一词语，最早出现在唐代，如杜甫诗云：笔架沾窗雨，书签映隙曛。按照《汉语大词典》的解释，“书签”的“签”，是指“竹片或纸片上写有文字符号的一种标识”。所以，书签最初可能取义于书籍中写有文字符号并具有某种标识作用的竹片。

至于“书签”这一实物，应当出现在唐代以前。因为“书签”是伴随卷轴装书而来的，而卷轴装书在晋代就开始流行了。