また、ある時は、伊能忠敬の紹介で、蘭学者で幕府天文方の高橋景保も来た。景保は、すでに林蔵が江戸の松前の会所を通じて渡した地図にも目を通していて、会うなり林蔵のことをほめていた。

　当然、ほめられればうれしいが、先入観もあってか、林蔵は、この人のことは好きになれなかった。というのも、樺太の地図は、かなりすすんだが東海岸の北部はないから残念だと言われたりした。

　林蔵も、東側だけは、あまりの悪天候で途中あきらめざるをえなかった。この事を言われて、内心カッとなった。北東部は、外海である。我々にはできないが、軍艦のあるロシアや、他の西欧諸国が測量しているだろうし、何とかそれを入手して、間宮が測量したところをあわせれば完成する、と、景保は言ったが、こちらがその樺太でどれくらい苦労したか、わかったつもりではあっても、本当にはわかるはずがない。俺は凍傷にかかって、死にかけたんだぜ、と思ったが、顔にださないように懸命に努めた。

　アイヌ語もできると伺ったが、これも書物で覚えたもので、実際に蝦夷地まで来てアイヌ人と話してもいないから、どれくらい精通しているか、わかりやしない。

　忠敬への遠慮もあったし、また相手は天文方とずっと身分も上だから、林蔵もあいそ笑いをしてその場をたくみに過ごしたが、忠敬氏は70歳に近く、当時ではかなりの御高齢、万が一お亡くなりになれば、まちがいなく天文方の高橋景保が、その任務を指揮することになる。

　林蔵は、日本の地図が完成することは大変喜んでいたが、その業績も、高橋景保が完成者として一番に賞賛されるなら、むしろ不快にも思った。

　まだ忠敬が元気そうだったし、もし彼がいきているうちに弟子たちにもがんばってもらいたかった。もっとも、彼自身も、もし幕府の許しがあれば、忠敬の測量の一向に加わり、まだ残っている九州の一部や、李氏朝鮮にも近い対馬など、蝦夷地とは違う西国の奥へも測量してみたいと思うようになった。