太行山北高南低，大部分海拔在1200米以上。2000米以上的高峰有河北的小五台山、灵山、东灵山、白石山，山西的太白魏山、南索山、阳曲山等。北端最高峰为小五台山，海拔高2882米；南端高峰为陵川的佛子山、板山，海拔分别为1745米、1791米。
太行山脉的的地质基底是复式单斜褶皱。东侧为断层构造，相对高差达1500~2000米，山前发育典型的洪积扇以及冲洪积平原。太行山是中国东部的一条重要地理界线。太行山脉多东西向横谷，自古就是交通要道，商旅通衢。
