山西大学创办于1902年(清光绪二十八年),是我国创办最早的三所国立大学之一,最初称山西大学堂,设中学专斋和西学专斋,由英国人李提摩太和山西巡抚岑春煊共同创办。校址在太原市侯家巷(现太原师范专科学校)。
民国初改名为山西大学校;
1918年确定为国立山西大学;
1931年改名为山西大学;
1949年中国大学理学院并入山西大学;
1953年改称山西师范学院,医、工两院相继独立建院,法学院称财经学院,后划归入中国人民大学;
1959年,再度组建山西大学;
1961年,山西大学与山西师范学院合并,仍定名为山西大学;
1962年,山西体育学院、山西艺术学院并入山西大学。