日本明治、大正时期的陆军元帅，近代日军奠基人之一。萨摩(今鹿儿岛)藩士出身，陆军萨摩派军阀头目。明治维新期间，在成辰战争中立有战功。1877年参加指挥平息萨摩藩叛乱的西南战争，以战功叙勋二等。此后，历任参谋次长(1878)、陆军卿(1880)、参谋总长(1882～1884)等职。1870～1884年间，曾三次赴欧洲留学或考察，实地学一习一外国的军事思想和建军、作战经验。1885～1896年连任伊藤、黑田、山县、松方六届内阁的陆军大臣，致力军制改革，极力推行军国主义侵略扩张政策，是一个狂一热的军国主义分子。
中日甲午战争中，任第二集一团一军司令官，率军侵占中国山东半岛的威海卫和辽东半岛的金州、旅顺等地，是旅顺大屠一杀的主谋。1898年获元帅军衔。1899～1904年再次出任参谋总长。日俄战争中，任满洲军总司令官，率领日军在辽阳、旅顺和奉天等会战中大败俄军。1907年，因对外侵略扩张有功晋封为公爵。1916年 12月 10日病死。
大山岩早年积极参加明治维新运动，注意吸取国外的新思想，对建立近代资产阶级的日本军队起了重要作用，是促使近代日本称霸亚洲、跻身世界军事强国的关键人物之一。他精通炮术，擅长指挥部队协同作战，意志刚强，是日本标准的职业军人。