太尉始于秦朝时期，秦王嬴政登基后，改设三公九卿。三公即为丞相、御史大夫、太尉，分别为辅政，监察及治军领兵。但秦朝并没有人担任太尉，原因在于秦当时为中央集权制，军政经合为始皇帝一体，所以若将兵权拱手送于他人之手，秦王政的统治会受到严重威胁。
到西汉时期中央和地方各级官吏的名称基本沿用了秦朝的制度。外朝官为西汉中央政府的最高行政权力由丞相、太尉、御史大夫三人分掌，其下分设九卿、列卿等。但由于官制名目甚多也有一定的分权目的，所以太尉的实权性时时不定。
按《汉书·百官公卿表》：“太尉，秦官，金印紫绶，掌武事。”是汉朝的最高武职，不常置。不设置太尉时，则以太尉职归丞相。相当于今天的军委主席。
