父親がシベリアに抑留され、奉天に残された家族は葫芦島から大発動艇で4日かけて（赤塚にとって初めて見る日本である）佐世保港に引き揚げ、汽車で母の実家がある奈良県大和郡山矢田口に移った。
当時のことを
「オレは満州から引きあげてきて、奈良の大和郡山に3年間住んでいたんだけど、あのあたりってヨソ者を徹底的に排除する風潮があったんだ。隣がエタ村で、差別意識が定着してたのかもしれないな。オレも差別されたよ。配給の列に並んでて、オレの順番になると「満州、ダメ」とか言って本当にくれないんだから。いい大人が子供に対してだよ。今でも忘れられないよ」と回想している。
帰国までに妹はジフテリアにより死去し、弟は他家へ養子に出され（後に赤塚は茨城県の常磐炭田炭鉱で働いていた彼と一度だけ再会）、更には生後6か月の末妹も母の実家に辿りついた直後に栄養失調のため夭折。日本に帰還する頃には兄弟は藤雄と弟と妹の三人と半数となってしまった。その時の母親には泣く気力もなく、赤塚は「胸がえぐられるようだった」という