やがて、30歳くらいの光太夫よりずっと若い5尺3寸程(160cm)程の、当時の女性にしては、比較的大柄な女性が、酒と夕飯を運んできた。光太夫は少し照れながらも、「ここに住むようになってからめとった妻でございます」と語った。彼女は光太夫と同じくらいで、5尺2寸(157cm)の林蔵よりも少し大きかった。
「ところで、林蔵殿はまだおひとりですか」と光太夫は尋ねた。
「はい。こうやって蝦夷や択捉に行っていたら、とても妻帯など無理でございます。それにこれから樺太に行くとなれば、いよいよ無理かと。でも、覚悟の上です」
「向こうで探検の道中、アイヌの人で、いい人がいたらわかりませんぞ。間宮殿はアイヌ語は話せるのでしょう」、光太夫は言った。
「アイヌの女性ですか。無事探検が終わってそんな女性がいたら、いいでしょうけど、日本の女性とは、風習からなにから違いますし、もし私が無事に戻っても、ずっと箱館や松前にいるならともかく、仮に江戸勤めになれば、こちらに連れてこなければなりません。私はいつか、蝦夷でもアイヌ人の藩ができて、ここまで参勤交代ができればと、申しましたけど、まだまだ先の夢物語でございます。それに、蝦夷のアイヌ人も、日本人が持ってきた白米を彼らの魚介類と交換してだいぶ経ち、今やご飯は必需品となっていますが、寒い蝦夷では米もとれません。年貢が当たり前の他の地域とはちがうので、彼らが日本の着物を着て参勤交代をするにもまだまだ隔たりがあることでしょうね。それに、第一、アイヌ人は言葉も違うし文字もないし、少しずつ日本語を話せるアイヌ人も増えてきていますけど、今はなんとも言えません。ただ、私は、まず、向こうへ渡り、樺太を測量したり、現地の人と共にいます。そして、島か半島か調べて、きちんと報告したいと思います。妻帯はそれからです」ときっぱりと語った。
「そうですか。どうやら私は間宮殿につまらぬことを言ったかもしれませんな。」と光太夫は言うと林蔵は首を振って
「決してそんなことはございません。光太夫様も無事に帰国されて、若い女性を妻にされ、すばらしいことと思います。お子さんもおられるのでしょうか」
「はい、2人おります。親馬鹿ですが、なかなか上の男の子は学問好きでしてな。いずれ、武士ではありませんが、何らかの形でこの国のためになる人物になってほしいものです」と語った。
林蔵は今もなお江戸に軟禁されているような光太夫が、予想以上に今の人生を楽しんでいるようでうれしく思った。ロシアで生死をさまよい、そして、やっと日本に帰国し、人知れずひどい苦労もされていながら、今こうして蘭学にも影響を与え、そして妻子にも恵まれていることを見て、自分もいずれ、という気持ちになった。大きい女なら、なかなか嫁の貰い手がいないかも、それでいて、俺も多少大きい女性は好みだし、と心の中でニヤッと微笑みそうになり、慌ててかき消した。俺は馬鹿だ、これからどうなるか、わからんのに、と自分を叱った。
少し落ち着くと、また、思った。俺は、いきなり本土からはるか北にながされた光太夫殿と違う。すでに、蝦夷でだいぶ、寒気に慣れた。樺太は広いが、シベリアより南だしはるかに小さいではないか。それに夏に行けば、まだ寒気はないからきっとうまくいく。それに、松田伝十郎殿もいる。絶対大丈夫だ!と心を強くした。
「まあ、一献、飲みなされ。ロシアのウォッカという麦の酒もうまかったですが、やはり、やはり酒は米のお酒ですよ」と光太夫は笑った。
その二日後、まだ日の暗いうちから、再び蝦夷地に向かって江戸を出発した。
択捉島で逃亡した他の者の厳しい吟味がまだ続く中、彼は健脚を生かしてどんどん進んだ。歩きながら、蝦夷は広いが、それでも根室から箱館までも、本州の江戸から奥州に行くよりかはずっと短い、と思った。もっとも、蝦夷よりもっと未開な樺太はまともな道がなく、船が主体で、鍛えた健脚を生かせないかもしれない。
でも、もし道があるなら、どんどん現地でも歩いてやろうと気合が入っていて、半月後には奥州の北、陸奥には入り、もう船で渡るところであった。
林蔵は、定期的に松前まで出ていた船で津軽海峡を渡ろうとすると、ちょうど役目を終えて、林蔵とは逆に、箱館から江戸に戻ろうとしていた師の村上島之充と偶然出会った。これから江戸へ向かうとのことであったが、林蔵は、無事お咎めなしになったことを伝え、村上に礼を述べ、伊能忠敬や大黒屋光太夫とも会えたことを話した。
村上は、すでに奉行所からの連絡で、林蔵はお咎めなしであるという知らせを受けていたが、それはよかった!、樺太の探検、命がけだががんばれよ!と言うと、互い分かれ、村上は江戸へ急いだ。
まもなく、 林蔵も船に乗った。松前の港に着いたら、箱館からつい最近、松前に移されていた奉行所へそのまま向かい、江戸から帰着したことを報告することになっていた。
幕府は、すでに重要性が増してきた蝦夷地を、松前藩に任すことに不安を感じ、蝦夷全域を取り上げて幕府の直轄地にし、それで奉行所を松前城のある松前に移していた。
ロシアという北の新しい大国の存在は、まだ未知なだけに不気味でもあったが、幕府直轄になったことで、以前よりも警戒を強め、また、松前、箱館といった蝦夷最南端からもっと北部に開拓をする重要性も計画され出していた。