冬が来ると、また箱館にもどり、測量した場所の製図を行なった。

　文政二年（1818年）、また春になると、エゾ内陸部に入った。蝦夷地も川が多い。これを整備してもっと開拓できないだろうか、と考えたりもした。やはり熊がこわいな！と思いながらもアイヌ人に同行してもらい、測量を続けた。

　翌3年、やはり自分を引きたててくれた大恩人、高橋重賢が松前奉行に出世した。林蔵もすごく喜び、エゾの製図を完成させた。

　文化4年5月、勤務交代の奉行がくることになり、高橋重賢と共に江戸に入った。

　伊能忠敬の死後、弟子たちによって続けられた地図の作成とほぼ同じ頃、林蔵のエゾ全図の地図を併せた日本全図がついにできたこともあって、これらはすべて忠敬の孫と門人らと一緒に持参して、江戸城の大広間にて、各地方の図をつなぎあわせて披露した。

　幕閣の者はみな感動して、50を越してから亡くなる直前まで20年近く測量をした伊能忠敬を思い、彼らの涙をさそった。

　だが、また林蔵ががっくりする出来事がおこった。22年間、幕府は松前藩が統治していたエゾ地をとり上げ、直轄地としてロシアに備えていたが、12月に松前藩に戻すことを発表したのである。

　せっかく蝦夷を幕府が先導で統治してたから、何とか守れたのに！

と思うと悔しくてたまらなかった。表向きはロシアとの緊張状態もおさまったという理由だが、どうやら、9代松前藩主、松前章広から老中水野忠成に多額の賄賂があったり、更に、11代徳川将軍である徳川家斉に請願した結果のようであった。

　この頃、以前、林蔵と樺太を探検し、その後も蝦夷で活躍していた松田伝十郎も歌を詠んでいる。

　"骨折し、24年の粟餅を、黄粉くるめて、鷹にとらるる"

　無念さを感じていたのは林蔵だけでなく、松田伝十郎、更にその配下にあった若い幕臣が多いことで、林蔵もたまに一緒になって、酒をのんで憂さを晴らした。

　松田伝十郎は林蔵をはげますように言った。

　「林蔵、また蝦夷地が、いや幕府もお前を必要とする日がくる。それに敵はロシアだけでない、今後は西国へ行く日も来るだろう！気持ち、切りかえてがんばってくれ」

　林蔵はうなづきながらも、幕臣である彼にとっては、地方の藩はみな敵にみえた。そいつらが、うまく雲居の上様（将軍）をだましている。結局、日本はひとつでないのだ！と思うと悲しくなった。

　でも、諸藩にとっては仕方がなかった。この時代、大半の藩は貧しかった。松前藩も蝦夷をとらないと利益もなく藩の米もない！。でも広い蝦夷地、全部を松前藩に返すことはないだろうと林蔵は思った。

　また、これから日本に近づいてくる外国船とこっそりと密輸をしそうな藩だってありそうである。そんなことも考えた。林蔵は、奥州の藩の者で強制的に蝦夷に守備固めでかり出され、その後、彼らのうちの多くがまた参勤交代で反対方向の江戸にも来る者もいることは知っていたから、彼らがもう蝦夷まで行かないですむことには同情的だったが、江戸でボケっと遊んでいる者ども（旗本、御家人の跡とりでない者）を本音をいえばエゾにやりたかった。だが、直轄でないとなおさら、そういう奴らはエゾに行くこともなく、江戸でボケっと遊んでいる。もったいない、あーもったいない。でも文句ばかり言ってられなかった。それでも自分の役目はある。今度や、日本中でありうる密貿易の取り締まりだ。と林蔵は思い直した。