家臣で水戸学（水戸藩でおきた日本古来の伝統や歴史を研究する学問）の学者である藤田東湖が彼をよびよせた理由について説明した。
　実は、水戸藩では、異国船の出没に対する海防意識が強かった。やはり18世紀のイギリスの探検家ジェームズ・クックの第3回の探検の帰り、アラスカからベーリング海峡をこえようとして果たせず、その帰路を南に変更した際、仙台の沖を通った頃からであった。水戸も同じ太平洋に面していて、しかも、近郊で異国船を見かけた漁師も多く、（林蔵がエトロフにいた）文化4年のロシア艦襲来の時は、家臣を2人、箱館に派遣していた。
エゾを開拓すれば、もっと多くの石高分の利益もあるだろうし、松前藩にかわって、自分たちがエゾを治めたいという気持ちもあったようである。

　斉昭も、ロシアの武器などを林蔵に質問してきた。林蔵は、残念ながら、人員の数だけは日本の方が当然ありますが、と念をおきした上で、火力は圧倒的にロシア側がすぐれていますと答えた。

　さらに人の意識についても説明した。冬の寒さは、水戸はもちろん、奥州よりもよほど寒気が強く、藩士を奥州から徴集して、何とかしていましたが、本当は、徳川直轄地として、兵も全国から集めるべきです、と言った。
　とにかく松前藩にもどしてしまったら、けして大した警備などできない。できれば、幕府が管理しないと、アイヌ人が裏切る可能性もあります。エゾの箱館や松前は、一番南の港にすぎないから、いつもロシアや、イギリスがエゾの北辺にこっそり来れば、アイヌ人と協力して、少しずつ侵略されてしまうでしょう、と力説した。「さすが長年調査をしていたというしくわしいのう。よくぞ申した」と斉昭は柔和な表情で言った。
　斉昭はまだ30代、林蔵は御三家にこのような人が主君でいることを喜んだ（近い未来、エゾは松前藩から水戸家になればありがたい、と思った）。
　その後も、またエゾの話をすることを依頼されると満足して帰った。

　勘定奉行村垣亡きあと、隠密を続けることに半ばいやになり、でも、もはや農民にも戻れない現実を感じていた中、自分のことを未だ評価してくれる人がいる、しかも、自分よりも20歳若いが、徳川御三家の殿様である。
　もう50を越えて、エゾ地は幕府の直轄から松前藩に戻り自分の役割は、コソコソした地方への隠密である。もちろん、幕府が必要としていることで、それはそれで大事な任務であるが、多くの人からその分嫌われ、さすがの林蔵も自己嫌悪のような心境になることがしばしばあった。

　だが、今もエゾを徳川家は、少なくとも御三家の一つ水戸藩が非常に関心を示していることで、また生きている間に、できるだけ自分の知っていることを伝えられたら、と願った。
　どうも、残念なことにシーボルト事件の汚い密告者という噂は、（江戸においては）消えず、逆に定着しているかのようであった。

　　年が明けて天保5年（1934年）になったが、まだまだ回りから冷たい視線を浴びているような気がしていた。　
　いっそ同じ徳川の御三家であるし、水戸藩邸にひと部屋お借りしたいような心境だが、あくまで幕府の下役人であるから、そういうわけにいかなかった。
　そんなことからも、いつも水戸藩邸で元気になってエゾのことを話していると、もう一度、江戸を離れてエゾへ任務を、と望むようになっていった。
　隠密の任務でも、できれば異国船の探索を、と望んでいたら、梅雨になり、やがて江戸はまた暑くなった。
　ある夏の日、やはり寒さよりも暑さに弱い林蔵も一人、家で参っていたら幕府から書状が届き、隠密としてエゾ松前と津軽藩へ行くため、まず老中のもとへ出頭するよう命じられた。
　翌朝、まだ涼しいうちと急いで老中大久保忠真の下屋敷におもくと、さっそく老中が待っていて、エゾや津軽の事情を話しあった。
　何でも、津軽海峡に異国船がやってきたという。箱館の沖合でも見え、また、数日後、今度や対岸になる津軽藩領にも現れたとのことで、どちらでも大筒（大砲）を撃ってやっと退去したようであった。
　
　この辺りは、箱館から下関までいく西廻り航路の最初のところでもあるし、異国船が現れれば目立つはずであった。
　
　江戸へは報告されていないが、もっと多くの異国船が来ている可能性もあるとのことで、隠密として林蔵が行くことになった。