また、長崎ではシーボルトから地図を取りかえさせようと長崎奉行が動いた。もっともシーボルトも、長崎奉行に地図を返すよう言われても、当初は奉行からでな く、奉行に命じられたオランダ語通詞の者だったので、前の船で本国のオランダへすでに送ったと、ずっととぼけていた。奉行はそれをきいて、ならば後日調べるとさらに 警告したので、すぐに長崎の商館にいたオランダ人の画工フィレニュフェと共同で、まず、エゾ、千島、樺太の地図を複写して、その翌日にまず渋々とその地図 をかえし、また、それらが長崎奉行で保管されている時に、ただちに日本の本土の地図も複写していた。
　それでもまた、本土の地図に関してはとぼけて、わざと出さず、それからまもなくして長崎の奉行所から強硬に返品を迫られてから、悔しそうにやっと渋々と渡した。長崎奉行にも幕府にも、見事に地図は取り返した！と思わせ、しっかりと複製をかくすことには成功していた、なかなかの役者でもあったと言える。

　シーボルトが、伊能忠敬の日本地図をもらったことや富士山等、道中の風景を絵師に描かしたりしたことは、大好きな日本をただただ知りたいという個人的願望からであってオランダ本国とはまるで関係ないと言い続けた。

　そんなに私を疑うなら、一生、日本に残ってもいい！とも言い、さすがに長崎奉行もそんな西洋人はあまりにも珍しいし、返答に困ったとのことであった。

　年が明け、文政12年になった。一昨年の文政10年11月の寒い日に小林一茶はすでに江戸よりもっと寒い郷里で亡くなり、その翌年文政11年の5月に、かつてロシアへ漂流していた大黒屋光太夫も亡くなっていた。

　すでに両親もなく、妻もなければ、勿論、子もいない。そして、お世話になった方や。友情をわかちあえた人もずっと年上であったから先に亡くなり、林蔵はさびしい気持ちであった。

　そして、ついに、文政12年2月、牢内のきびしい寒気と拷問で衰弱していた高橋景保が亡くなった。まだ43歳、林蔵より5年年下であった。

　　林蔵が疑ったように、景保は、ロシアの提督クルーゼンシュテルンの世界周航地図という書籍と最新の世界地図をほしがり、かわりに禁制の日本や樺太の地図をシーボルトに渡していた。だから景保の逮捕には、俺の地図まで異人に渡すとは、入牢されても当然だ、と怒っていた。
　それにしても、なんで景保は、シーボルトからの俺あての手紙、こっそりみなかったのだろうか！とも思った。俺があの人の立場なら、絶対、俺のことを疑って、あいつはこっそりと幕府にシーボルトからの手紙をばらすとは思われなかったのか。自分はあの人よりずっと身分は低かったけど、少しずつ実績をみとめられ、今は景保よりも身分の高い御老中や大目付とも話しをしている。今もまだ表向きの身分は低いから、何でも言うことをきくとでも思っていたのだろうか。
10年前に伊能忠敬先生がなくなって、その2年後には自分のエゾや樺太の地図をまた提出して、併せて江戸城に運ばれたが、それ以来、連絡もとっていなかった。

　高い身分で生まれ育ち、立派な父親の名声の元で、2代目として学問だけは必死に励み、蘭学者としてオランダ語や漢文にも通じているようだったが、世間をなめている。甘い人だと思った。

　"おごる平家は久しからず"というな。伊能先生や俺が苦労した地図の発表者として、あの人も確かに、栄光を極めたが、もっと欲がでたのだろうか。ロシアの探検家の世界地図には、樺太の外海に向いた東海岸のことはきちんと載っているが、どうも、俺が探検した箇所は、樺太と大陸はくっついているように記されているだろうから、シーボルトに、実は樺太は島であるのだ、発見したのは日本人だ！とでも主張したかったのだろうか。
しかも、自分の部下である間宮林蔵と言う者とでも案外、シーボルトが江戸で泊まっていたオランダ人の宿泊所、長崎屋でオランダの葡萄酒でもご馳走になりながら言ったかもしれんな。

　それでつい国禁で、発覚すれば死罪になるかもしれないのに平気で渡してしまったのだろう。幕府の役人なら十分承知のはずだ。なぜ？とまた林蔵は考えた。何か、上からの別の力が働いて、高橋重保をおいつめたのだろうか。そんな気もした。
　あの人やシーボルトの今回のことだが、すでに誰か、例えば蘭学を嫌う連中から疎まれて、仕くまれた罠だったのかもしれない。そして、お主を密告したのは間宮林蔵だぞ！ということにして、蘭学者やオランダ通詞たちの恨みを俺にむけさせている。
　俺も出世のため、そして、与えられた任務は、どうも根はまじめだからやる方だし、また意見はどんどん言うから、低い身分のくせに生意気な奴と思われているだろう。
　今回のことで自分の評判はおちるというか、勇敢な男として尊敬されていたところから、上司で恩人である人を密告した幕府のノラ犬とでも言われるかもしれんな！蘭学者は俺とのつきあいを嫌がるだろうし、下手すれば江戸中で嫌われ者になるかもしれない。林蔵はそう思うと、さすがに不安な気持ちになった。でも最後に、まあ、俺は悲観的だ、もう考えるのはよそうと思い、また、幕府からの指示を待つことにした。

　シーボルト事件は、シーボルトには、国法を犯した罪として、永久国外追放が申し渡され、ほぼおわりが近づいていた。すでに9月下旬で、江戸も紅葉の季節になっていた。

　江戸での吟味も最終段階に入り、12月には将軍家から下賜された葵の紋の入った衣服をシーボルトに贈った罪で、江戸城の奥医者であった土生玄碩、西丸奥医師の息子玄昌が奉行からとがめを受けた。　
　玄碩父子は、改易処分となり、家屋敷を含むすべてを没収され、無一文になった。
　
　文政13年（1830年）になると、関係者の処分が次々とおこなわれた。
　景保は生きていれば死刑、2人の息子も遠島を申し渡された。更にやはり、すべてを没収となった、長崎のオランダ通詞も、次々と処分をうけ、門を閉じて外出を許されぬ押込の刑を受け、シーボルトの門人二宮敬作も江戸と長崎への出入を禁ずる「江戸御構、長崎払」の刑に処せられ、故郷の宇和島にもどって医者を開業した。