苏联红军创始人和统帅之一，军事家和军事理论家。出生在皮什佩克市一个军医家庭。1904年加入俄国社会民一主工一党一，成为职业革命家。参加过1905～1907年革命，被捕入狱。1915年第一次世界大战期间，逃离流放地，从事兵运工作。
十月革命时期，他参加组织白俄罗斯武装起义和创建工农红军。苏俄内战和外国武装干涉时期，曾任集一团一军、方面军司令，在东线和南线指挥红军作战。1920年11月，在指挥南方面军进行彼列科普一琼加尔战役中，以主力突击敌之侧翼，大败弗兰格尔白卫军，一举解放克里木岛。列宁称赞此役是“红军史上最光辉的一页”。
战后，他于 1922年出任乌克兰共和国人民委员会副主席。1924年任苏联革命军事委员会副主席和陆海军副人民委员，兼红军参谋长和军事学院院长。1925年初任革命军事委员会主席和陆海军人民委员，兼劳动国防委员会委员。1924～1925年，主持红军的军事改革，创建常备军与地方民兵相结合的武装力量体制，大量裁减军队员额，对红军的正规化建设起了巨大的推动作用。1925年10月31日逝世于莫斯科，年仅 40岁。
他根据第一次世界大战和国内战争的经验及武器装备发展状况，研究和解决了世界上第一个社会主义国家军事思想和军队建设的一系列重大理论问题，为建立和发展苏联军事科学作出了重大贡献，对苏联军事科学的发展和军事学说的形成产生过重要的影响。其军事著作汇编成《伏龙芝选集》。