現在の東京都日野市石田）に農家の土方隼人（義諄）と恵津の間に生まれる。10人兄弟の末っ子であった。土方家は「お大尽（だいじん）」とよばれる多摩の豪農であったが、父は歳三の生まれる3ヶ月前の2月5日に結核で亡くなっている。
幼少時には風呂から上がると、よく裸のまま家の柱で相撲の稽古をしていたという
現在の東京都日野市石田）に農家の土方隼人（義諄）と恵津の間に生まれる。10人兄弟の末っ子であった。土方家は「お大尽（だいじん）」とよばれる多摩の豪農であったが、父は歳三の生まれる3ヶ月前の2月5日に結核で亡くなっている。
幼少時には風呂から上がると、よく裸のまま家の柱で相撲の稽古をしていたという