钟楼和鼓楼的区别在于鸣响之物不同：钟楼挂的是钟，鼓楼架的是鼓。在古时人们将一昼夜为十二时辰，分别以地支(子丑寅卯)序之，人们为了明确时间而设立钟鼓楼来报时。
城市中的钟鼓楼最早为专用的报时建筑，古代里坊制城市实行宵禁，早晚击鼓为启闭坊门的信号，建于明洪武年间的西安钟鼓楼是现存最古老的实例。此外，唐代寺庙内也设了钟和鼓，在元、明时期发展为钟楼、鼓楼。
