刘徽开创了探索圆周率的精确方法，另一位中国古代数学家祖冲之的主要成就，也恰恰在于圆周率的计算方面。据《隋书？律历志》记载，祖冲之确定了圆周率的不足近似值为3．1415926，剩余近似值为3．1415927，这是世界上首次将圆周率精确到小数点后第七位。直到16世纪，阿拉伯数学家阿尔？卡西才打破了这一纪录。祖冲之实际上还给出了圆周率的误差范围。
祖冲之还和他的儿子祖？一起，用巧妙的方法解决了球体积的计算问题。《九章算术》中认为，外切圆柱体与球体积比等于正方形与其内切圆面积之比，刘徽为《九章算术》作注时指出，原书的说法是不正确的，只有“牟合方盖”（垂直相一交一的两个圆柱体的共同部分的体积）与球体积之比，才正好等于正方形与其内切圆的面积之比。但刘徽没有求出两圆柱体垂直相一交一部分的体积公式，也就得不出球体积公式。祖冲之父子应用“等高处横截面积常相等的两个立体，其体积也必然相等”这一原理，求出了牟合方盖的体积。而球体体积等于π／4乘以牟合方盖体积，从而最终算出球体积为πD3／6（D为球直径），这个公式就是著名的“祖？公理”。西方人得到这一公理时，距祖冲之父子已1000余年。祖冲之还研究过“开差幂”和“开差立”问题，这涉及到了二次、三次方程求根的问题，祖冲之在求解中甚至“兼以正负参之”，可见其研究水平之高。
祖冲之父子的数学研究成就汇集于他的数学专著《缀术》中。这本书极其高深，以至于“学官莫能究其深奥，故废而不理”。在唐朝官学中，《缀术》也被列为必读的十部算经之一，且需学一习一4年，年限为各经之首。后来，《缀术》传至朝鲜，但10世纪以后，《缀术》渐渐在各国失传了。尽管今天已无从知道《缀术》的具体内容，但从该书在唐代官学中的学一习一年限及史书中相关的零星记载，我们仍可以想见其学术价值。