1820年、駿河国有渡郡清水町美濃輪町（後の静岡県静岡市清水区）の船持ち船頭・高木三右衛門（雲不見三右衛門）の次男に生まれる。
あととりのいない叔父山本次郎八の養子となる。
周囲が長五郎を次郎八の家の長五郎、次郎長と呼んだことがその由来
自前の廻船業の家に生まれ、米穀商の山本の養子である次郎長にとって、読み書きそろばんのスキルは必須であり、塾に入門をさせられる。
しかし、７歳の頃、村学先生に学ぶも破門。８歳の頃、寺子屋に入門するも破門
悪童で手がつけられなかったため、１０歳の頃、伯父の倉沢村兵吉の預かり子となり、一定期間、家を離れ外で育てられることとなった。