村上はそんな林蔵の気持ちを察しながらも、「大丈夫だ、測量術はすぐにできるものでもなく、おぬしのようにアイヌ語を必死で習得した者もいないのだからな。人員は不足しているに違いない。ここは私を信じてくれ。うまく幕府に頼んでみよう」と言ってくれた。林蔵も、それならぜひとも、とお願いした。もし、彼自身がこの業務をはずれれば、元々は農民出身でもあるから、もしかしたら武士になる機会も永遠に失することになる。アイヌ人と共に百姓をすることも考えていたが、幕府から帰国命令が出れば、地元に帰って百姓をすることになるにちがいない。何のために一生懸命アイヌ語を学んだか、と考えると、やはり蝦夷になんとしてでも残り、残るだけでなく、何か少しでも成果を挙げたいとも考えるようになっていた。

 それからひと月程、アイヌの家に農業指導したり、相変わらず泊まり続けては時々、箱館に戻る生活をしていた。ある日、また箱館に戻ると、村上からまた、任務を再興するお許しが出たぞ！との知らせを受け、林蔵はほっとした心境になると、同時に張り切って業務をやろうと思った。
　
 　再び村上の従者として測量を手伝いながらも、この頃はアイヌの風習生活様式をかなり詳しく知っていたので、村上がこれらを提出する際に、林蔵がアイヌ語の習得の際や、実際泊まり込んで得た知識も加えられるようになった。これは後に「蝦夷生計図説」としてアイヌの風俗、生活を紹介したことで高い評価を得て、林蔵が助力を与えていた事も明記されていた。
　　
　文化２年（1805年）の８月、村上が突如、江戸での業務となり蝦夷を離れてからは、林蔵は一人残って仕事をする事になった。太平洋沿岸の測地、地図作成を手掛けていて蝦夷の広さを感じながらも、蝦夷の広さが詳しくわかってくると、ますます沿岸からずっと奥に入った内陸の広大な蝦夷地はどうなっているのか、と気になりだした。本当、測量でなければ、いくつも大きな川もありそうだし、そこから内陸に入って広大な蝦夷を開拓した方がいい。それにはもっと多くの人間が必要だが、幕府の直轄地になっても、来るのは藩兵や役人たちで、しかも彼らはすぐに病気になり、なるべく早く内地に帰りたがる傾向が強かった。貧乏だが、頑丈な身体をした各地の小作農の農民出身者等を徴兵でつれて来ればいいだろうけど、実際、関東や奥州よりも広大な蝦夷の大地、開拓するには少数ではだめだ。それに、すでに国後、択捉島まで海路をつくっているのなら、ますます人間が必要だが、今度は北からは大きなロシア人がやって来るとかいうし、大丈夫なのだろうか、と不安に思ったりする事がありながら、ひたすら業務に励んでいた。