黑水县地势由西北向东南倾斜，平均海拔3544米，最高海拔5286米，最低海拔1790米。县城芦花海拔2350米，高差1000～2000米。境内群山屹立，山峦起伏，雪峰对峙，河谷深切。海拔5200米以上雪峰4座。色尔古河坝最低，海拔1790米，境内岷江上游三条支流黑水河、毛儿盖河、小黑水河和48条溪流形成网系。
黑水县气候属季风高原型气候，旱、雨季分明，日照充足，气温年差较小，日差较大，并随海拔高度不同差别较大，高山与河谷年均气温差值达20度，县城芦花平均气温9度，年极端最高气温33.5度，极端最低气温-14.4度。境内降雨分布不均，夏季集中，秋季阴雨连绵，年平均降雨量620.06毫米，无霜期平均166.1天。受青藏高原气候影响，常有干旱、暴雨、冰雹、洪水、泥石流、霜冻等自然灾害发生。
