ニューヨークの日本領事館のサイトにこんな記述を見つけました。
http://www.ny.us.emb-japan.go.jp/jp/h/07.html
昨年、紛失・盗難された全ての日本のパスポートのうち、 736冊が変造されて、不法入国などの国際犯罪に使用されました 。
日本は多くの国との間で査証(ビザ)免除取り決めがあり、また日本のパスポートの信用度が国際的に高いため、紛失・盗難された日本のパスポートが不正入国などに悪用されることが少なくありません。
紛失・盗難された皆様のパスポートも、どこかで誰かに悪用されている可能性があります。
----
パスポート紛失届を出すことで、そのパスポートは無効化されますので、たとえ何か犯罪に使われたとしても、あなた自身が犯罪者として疑われることがなくなると思いますので、まずは領事館に行って迅速に紛失届を出すことが必要だと思います。