大久保利通が暗殺され、1881年には政変で大隈重信が失脚したことで、弥太郎は強力な後援者を失う。大隈と対立していた井上馨や品川弥二郎らは三菱批判を強める。
1882年には、渋沢栄一や三井財閥の益田孝、大倉財閥の大倉喜八郎などの反三菱財閥勢力が投資し合い共同運輸会社を設立して海運業を独占していた三菱に対抗した。三菱と共同運輸との海運業をめぐる戦いは2年間も続き、運賃が競争開始以前の10分の1にまで引き下げられるというすさまじさだった。共倒れを危惧した政府の仲介で両社は合併を決定。1884年に日本郵船が発足する。