水准仪主要由望远镜、水准器和基座三部分组成。
望远镜是用来瞄准远方目标的。水准器有管水准器和圆水准器两种,管水准器是用来指示视准轴是否水平,圆水准器用来指示竖轴是否竖直。基座用来支承仪器的上部并与三脚架连接。