その後、林蔵たちは、ロシアの船から兵士が次々と降りてきて、無人になったシャナの会所をあっさりと占拠したことを知った。林蔵を含む一行は、責任者の戸田が自害したこともあり、今さらシャナに引き返すこともできず、結局、なすすべもなく共に国後島を経て、それから蝦夷地に渡った。ネモロ（根室）に着くと、内地から警備で駐在している藩兵が百名、そして函館奉行から出張にきていた役人が数名いた。林蔵たちよりも先に戸田の死を知らせに伝えた伝令の者がいたこともあり、役人たちの命令で、林蔵たちはアイヌ人の案内役に促されるように陸路を歩き、途中、彼らにの村々に泊まりながら進み、南端の函館へとたどり着いた。函館についてからも、奉行の命令で他の仲間たちと共に半ば謹慎のような状態で過ごしていたが、ロシア船は、貯蔵庫の食糧を奪ってから、日本側の反撃を予想し数日近くに停泊した後、択捉島から北に去ってすでにロシア人は一人もいない、という知らせがほどなく入り、函館から、林蔵たちとは別に各藩から動員された藩兵数百名が、新たに警備として択捉島に向かっていた。
というのも、シャナとは別の場所で活動していたオランダ語のできる通詞が、ロシア船の捕虜としてカムチャッカに連行されていたのだが、すぐに釈放をされて蝦夷地北端の宗谷の近くで下ろされた。ロシア船の乗組員の中には、自国語であるロシア語の文字で自分の名前すら書けない兵や水夫も多かったが、上官の方はというと、自国語での読み書きは勿論、さらに何か国語も操りオランダ語でも会話の他、読解のできる士官がいたり、他に片言の日本語やアイヌ語の多少話せる乗組員もいたとのことであった。オランダ語のできる士官と捕虜になった通詞の二人で会話ができたことから、ロシア軍は長崎で半年も待たされたあげく、結局、通商許可が下りなかったことに怒り、その報復として食糧を奪ったことが明らかになり、函館や松前でも人々へ次々と噂が広まっていった。林蔵も函館でその噂を聞くと、彼自身、アイヌ語がわかるだけによけいシャナに残れなかったことを悔しく思った。
しかし、噂を聞きつけた人々が、ロシアと通商条約を結ばなかったと言うか、ロシアに対してきちんと対応できなかった徳川幕府に向かってとても批判できる時代ではなかった。その代わりにシャナで二百人もいながら大した警備もせず、退却命令を出しながら、途中裁きを受けるのを怖がって自害した戸田又太夫や、一緒に逃げ帰った部下の武士たちを嘲笑ったように感じられ、そんな噂を聞きつけた林蔵も、俺、なんてついてないのだろう、と嘆きたくなった。
誰もが心の中では、そもそも幕府のロシアへの先送りの態度が一番悪いということを十分承知しながらも御公儀には何も言えない封建時代である。
それに、 徳川幕府としても庶民の批判の目を、直接自分たちに向けさせたくないから、立場の弱い者への責任転嫁は、ごく自然の成り行きとも言えた。
幕府といっても、将軍や老中が一人で政治をおこなっていたわけでない。昔からの国法ともいうべ海禁制度（鎖国）を止めて、いきなり北から来たロシアにたいして改めて開港するなどと言うのは、大変勇気のいることで、難しいことであったに違いなかった。林蔵が生まれた頃、まだ老中として実権を握っていた田沼意次のように、当時から蝦夷地の北辺に進出していたロシア人と貿易して利益を出そうと考えていた開港推進者も、息子の田沼意知が江戸城の城中で斬られて亡くなってからは、急速に実権を失っていった前例もあり、それから、まだたかだか四半世紀しか経っていなかった。
しかし、もしこのレザノフの来航が、50年近く経った1853年（嘉永6年）のアメリカのペリー来航のように長崎でなく、直接、江戸の近くの安房の館山や三浦半島の浦賀の方に来航していればどうしていただろうか。ロシアはすでに千島列島にも進出していたし、しかも、開港を求めた使節レザノフは二人目の使節であるから、やむなく、少しは通商を認めたかもしれなかった。
もっとも、通商を認めても、また、断固、通商を拒絶したとしても、責任者は先ほどの田沼のように必ず幕府の内外、どこからかの批判の的となる。それを恐れて、先延ばし、先延ばしとしているうちに、国外の方がどんどんと変わり、立派な帆船を操り、武器も発達し、気づけば日本の近海まで迫っていた。
また、当事、長崎にはオランダの出島があった。
本国のオランダは既にフランスのナポレオンに占拠されていたが、ヨーロッパからはるか極東の日本の長崎の出島だけは、世界中で唯一オランダ国旗が翻っていた。そのオランダは、西洋で唯一日本と貿易をしている国で、日本から珍しい製品を他の欧州諸国に売りさばき、かなりの利益を得ていた。
だから、幕府がロシアに対しても開港することで自分たちの利益が減る恐れもあり、ロシアとの開港に猛反対していたも考えられたし、また、ロシア使節のレザノフの上陸地が同じオランダの出島のあった長崎であったことも開国ができなかった一因かもしれなかったのだが、当時の人にはまだわからないことであった。
さて、林蔵も、択捉島から退却した一人として、函館から更に江戸に送られて吟味を受けることとなった。その前のある日の夕方、林蔵は師である村上島之允は、逆に江戸で勤務をしていたが、この度、江戸からちょうど函館での任務のために戻ってきたことを知り、こっそりと村上の泊まっている旅籠を訪ねた。
「林蔵、せっかく択捉でも頑張っていたのに気の毒だったな」村上は座るとお茶を出し、さらに江戸の土産だと言って羊羹を出すと、慰めるように言った。林蔵は事件後、初めて温かい言葉を聞いたようで、ウウッと嗚咽した。
彼は事件の概要を話し、自分と御典医の久保田見達の二人は退却に反対し、自分は証拠として戸田又太夫に証文を書かせようとしたが、戸田は自分を罵倒したあげくすぐに自害してしまい、結局、果たせなかったことを思い出し、また悔し涙を浮かべた。
「自分は撤退にかなりしぶとく反対しましたが、証拠を残せなかったから、どうせ信じてもらえないでしょう。証文さえあれば、なんとかなりますのに、悔しいです」と羊羹を噛みしめながら言った。
「それは無理な話だ。みんなのいる前で、百姓出身のお前にそんな事を言われて証文に署名をしたらどうなるか。おそらく、他にも残って戦うと言い出す者が何人も出てくるだろうしな。それにしても、お前は本当にいい度胸をしてるな。戸田様の前で堂々と言うなんて、なかなかできないぞ。証文はないが、みんなの前で言って戸田様から罵倒されたのだし、そのことが吟味の時に証拠として認めてもらえればいいのだがなぁ」と村上は言った後、軽くため息をついた。
すると、林蔵は背筋を正し、何かを決心したような顔をして村上の方を向き直すと、軽く咳払いをして口を開いた。
「敗走者の汚名をそそがないと、仮に武士の身分をはく奪されないで、江戸や故郷に返されても、まともに生きていけません。こうなったら、アイヌ人に化けるかして択捉島に行き、こっそりウルップ島か樺太に渡り、そこからロシアへも潜入して、できることなら、はるか西の首都まで行って内情を調査して報告しとうございます！」と必死な顔をして言った。
「おい、ロシアに潜入するというのか。本気で言ってるのか？」村上は、驚くと眼を大きく見開いた。
林蔵自身、嗚呼！しまった、俺、また、かっこいいこと言ってしまった！、こういう時にとっさにこんなことが浮かぶなんて、やはり俺は普通じゃねぇな！と、自分自身の言葉に酔ったようで、内心驚きを感じていた。
