すでに以前、東の根室から西の南端の箱館、松前に至る蝦夷の道は近藤重蔵や最上徳内の手で開かれているが、まだまだ利用されていないに近い状態だった。千島の択捉島まで開かれれば、中継地点の根室ももっと大きい港ができるだろうし、またその必要性も増す。そうなれば東蝦夷でのアイヌ人との交易も盛んになるから、ますます開拓への道となるかもしれない。そう思うと、農民出身ながら自分が幕臣として他の人間より大きなことをやれたとして後世に名を残すかもしれない。先祖代々、両親の残した土地を継げないが、たぶんご先祖も許してくれるだろう、という気持ちになった。

  　実際に、択捉島に赴任すると、早速張り切って測量等の業務を始めたが、慣れてくるに従い、周りの役人のやる気のなさという現実を感じていた。択捉島最大の漁場シャナというところに着いて、責任者の戸田又太夫のところに就任の挨拶に行ったが、戸田はどうも事なかれ主義で、早いところ、任期が終了して、箱館か江戸に帰りたがっているようで感じた。

　お役目だから仕方ない、という周りの者たちの空気のようなものを林蔵は感じていた。独り者の俺と違って、妻子を残して単身でこんな辺境の寒いところにいるのだから、そう思うのも仕方ないと思いながらも、戸田の影響で、配下の関谷茂八郎やその部下たちもやる気がないようで、若い林蔵には大いに不満であった。

　そんな折、択捉の漁場ナイボの沖に２隻のロシアの軍艦とみられる大きな帆船が停泊して２赤人（ロシア人）が上陸したという知らせが入った。これが後に、文化露寇と言われる事件である。
　
　１０数年前、大黒屋光太夫と磯吉の２人の日本人漂流民を乗せて、ロシアのラクスマン使節が来航、その頃、千島列島に関しては択捉島の隣の島（ウルップ島）あたりまで、ロシアの勢力下であったことから、ウルップ島はまだどちらとも言えない状況であったが、それより北はロシア領、択捉島（以南）までは日本領となり、だいたいながら国境が決まりつつあった。ロシアは国境も決まったことで、清国（中国）だけでなく、日本との貿易も望んでいたことから、漂流民返還という口実ももうけて、二人の日本人を連れて根室に派遣した。幕府は当時、ロシアにはっきりと通商を拒絶する事もできず、といっても、オランダ以外の西洋諸国と貿易をするというのは厳禁という国法を変えることもできず、結論の引き延ばしと言う方法を取った。ロシア側は、その回答から、近い未来になれば通商条約もできるかもしれないと解釈して満足してくれたようだった。
　
　それから、１０年以上経ち、ロシアは、次は皇帝の侍従レザノフという使節が、また新たにロシアに漂流した日本人漂流民を伴ってオランダの出島もある九州の長崎に来航したのが文化元年（1804年）のことであり、林蔵が函館近辺で冬の寒さと戦いながら、必死に師の村上と共に測量をしていた頃である。今度こそ日本も開国してくれるはずと期待していたロシアのレザノフであったが、長崎に入港しながら、ずっと長崎の街並みを歩くことも許されず、一室で半年も待たされたあげく、幕府の回答はまたも、今はまだその時期にあらず、との通商拒絶であった。大国ロシアの皇帝の侍従としてのプライドはズタズタであり、激怒したレザノフは報復を誓い、部下のフォストフ大尉に命じて樺太や千島の択捉島への攻撃を決めていた。北辺の奥地の会所なら、日本側の反撃があっても逃げられるとの計算もあったし、ちょっと嫌がらせで食料を奪ってやる程度である。彼にしても本気で日本と戦争となれば、ロシア国内で重罪に処せられることも頭にあった。それに、日本の和船はロシアの船に比べればはるかに小さく、沖から離れて外洋にでればまともに航海もできない造りであったから、ちょっと海岸で海賊のようなことをしても、すぐに逃げれば、日本側が反撃をする前には十分逃げきれるという思いもあったようであった。