牙粉主要的构成成分是碳酸钙，水合硅石，磷酸氢钙、SLS、糖精钠、香精等。
尽管不同厂家生产的牙粉配方各不相同，其成分也有所差异，但是其主要的构成成分都离不开磨擦剂（碳酸钙，水合硅石，磷酸氢钙等），表面活性剂（SLS），甜味剂（糖精钠）和香精。
以上成分构成了牙粉的主体，为了赋予牙粉更多的功效，许多生产厂家会再添加一些活性成分，例如天然抗菌多酚类，维他命D，叶绿素，柠檬酸锌，抗龋齿氟化物等。也有的厂家为会在配方中加入部分水和保湿剂，这样可以使的粉体更加细腻，使用时口感更加爽滑。
据考古发现，古人在使用各种工具揩齿刷牙的同时，还配以各种洁牙剂，最常见的是盐末，也就是牙粉的前身。到了宋代，还出现了专门的“牙粉行”，出售的是中药配制的牙粉，至此牙粉已经成为一种商品，反映了当时牙粉制售的专业化和应用的普及程度。
明朝还出现过采用七种中草药制成的牙粉供宫廷达官贵人护牙洁齿之用，就连西方考古学家也发现，一位不知名的古埃及人，早在5000年前就在莎草纸上记录下埃及牙粉的配方。
