それから、近藤重蔵や最上徳内が択捉島で活動していた寛政10年(1798年)には、師匠の村上島之允が近藤たちの探検に同行することになり、渡海して蝦夷地に渡った。林蔵の方は、というと、村上とは一時離れて、他の幕府の役人と共に、奥州の宿場から宿場への駅路回測地を手伝い、関東と奥州白河の境から、福島、仙台、一関、水沢、盛岡、一戸、野辺地と北上していった。天候もよく、陸奥湾に面した津軽及び下北半島の一部ずつを総量し、駅路地を作成した。その後、探検から戻った村上と合流すると、共に江戸へ戻り、陸奥州駅路回を幕府に提出した。そして次は翌年、寛政11年(1799年)には、蝦夷地の地理調査を命じられた。
蝦夷地には前述のとおり、北辺のロシアの存在もあり、重要性が年々増しているにかかわらず、松前藩は米がとれない寒冷の土地ということで、アイ ヌ人と物々交換をやって利益を得ているだけで開拓もまともにしていない。その事に苛立った幕府の方針から、松前藩を北奥州に移し、広い蝦夷地を幕府の直轄地にしようとしていた時でもあった。幕府として は、アイヌと仲良く協力し産業を盛んにして、きちんと道路を作り、ロシア等、外国に対する防衛には南部、津軽といった寒さに強い北奥州の藩の兵力をあてるこ ともすでに決まっていた。
それらの政策を進めていくには、蝦夷地に常駐する者が必要で、身体が強く、意思力もある者として村上島之允が 加えられたのである。当然、林蔵も村上の従者として寛政11年3月に江戸を出発し、翌4月ついに津軽海峡も渡った。津軽海峡を初めて渡るとき、少しドキドキしたが、幸い波は静かで、朝早くでると昼前には蝦夷地の南端松前に上陸でき、 陸路を箱館へと赴いた。 初めて見る松前城、そして箱館の港は、米が取れない寒冷地、一万石の小藩のものではなかった。奥州のどの港にも負けない規模の箱館に、林蔵はすごく驚き内心ワクワクして いた。
箱館から案内の者を加えて、船を連ねて太平洋岸に沿って進んだが、各地の漁場に上陸する間は、ただ広がる海岸線、ごくまれに見 えるアイヌの小屋らしきもの以外は何もなく、林蔵は村上と共に海岸線の測地をまとめることに集中していた。ネムロ(根室)について、更に知床半島を回る。 千島の島影がかすんで見えていた。村上は前年4月、近藤重蔵の一行に従って、国後島に渡っていたことから、林蔵に国後の地形など説明してくれた。
その後一行は松前に戻ると、林蔵は村上と共に蝦夷地勤務を命じられ、留まることになった。主な業務は植林で、函館付近の樹木がかなり代採されていたので、 苗木を植えることを命じられたのである。 林蔵はその合間に、日本語の多少わかるアイヌ人に、農耕を教えようとして、畑を耕し種をまく方法を教えた。寒冷蝦夷の大地は、米こそ取れなくても、野菜や 麦はできそうだったし、戦国時代(16世紀後半)に、イスパニア(今のスペイン)、ポルトガルといった南蛮船から伝わったジャガ芋も寒冷地に強いということで(18世紀 末)林蔵のいたころには、すでに奥州の一部まで伝わっていた。
林蔵の生まれた頃は、ちょうど天明の大飢饉があったころで、陸奥(今の青森県)などの寒冷地では多数の農民中心が飢餓で亡くなっていたが、芋のおかげで助かった地域もあり、農民出身でもある林蔵は積極的にアイヌに普及させようと少しずつ努めていった。
厳寒の冬がすぐに訪れた。短い夏の後、秋はすぐに通り抜けた感じである。林蔵は寒気の厳しさを予想していたし、寒さは奥州で以前少し体験していたが、これ をはるかにしのぐ酷い寒さである。炉で盛んに火を炊いたのに風や雪が吹き込むと、我慢していても、どうにもとまらない♪!苦しみが襲った。また野菜を全く食することのできない状況で、足が むくんで膨れ上がってしまい、後日、アイヌ人からもらった茸やわずかな野菜を食べて、ひたすら春を待った。
また雪解けになり、暖かくなってきてから、人一倍働いたことから、幕府内での評価が上がったが、またすぐに冬がやってきた。
毎冬、蝦夷の冬は、頭ではわかっていても、厳しい冷えに対して、きちんと対策ができない。林蔵に限らず、雪国の奥州から来た者でも、やはり予想以上の寒気に苦しむことになる。借りていたアイヌの小屋が粗末ということもあったが、慣れているアイヌと違い、日本人の彼には、耐え難い寒さであった。酒を温めて飲んでも、すぐに酔いがさめるようであった。足がむくみ歩行も困難になると、測地や植林はおろか、外出すらできなくなった。
「あ~なんということだ!」と林蔵は嘆きたくなった。せっかく学問が役立ち、百姓から武士にもなり、もっと測量を学びたくなっていた。しかもこの年、蝦夷地に、50歳の越え高齢ながらちょうど測量のため訪れていた測量家の伊能忠敬とも知り合うことになり、若い林蔵はある種の使命感のような気持ちにもなっていたが、なんで自分はこんなに弱いんだろうか!と自分のことを情けなく思うようになった。毎年、冬になると活動できないのに、蝦夷地にいてもなぁ!と悩んだ彼は冬が終わって夏近くになっても体調が宜しくなく、村上と離れて、商家の家に一部屋を借りて住むことになった。