« 恐ろしい商売だぞ | トップページ | いない人だぞ »

2006/10/18

消えるぞ

 Internet Wwatchの2006年10月16日の記事『メールの0.71〜1.02%は「ただ消えて無くなる」〜Microsoft研究者らが論文 —主な原因はスパムフィルター—が、ちょっといろんな意味で面白い。

 送信されるメールの0.71〜1.02%はただ消えて無くなり、相手の手元に届かないことが、15日に発表された論文により明らかになった。どのメールが消えてなくなるかは、送信者および受信者は関与・関知できないことから、この現実は重大な問題につながりかねない。

 この研究は、米Microsoftの研究部門であるMicrosoft Research所属の研究者とカリフォルニア大学バークレー校の研究者の計3人が共同で行なったものだ。これまでの先行する研究では、このようにただ消えて無くなるメールの割合には大きな差があり、だいたい0.55%から5%の間であるとされてきた。今回の研究ではさまざまなバイアスを取り去り、精度を高めるために工夫した結果として、メールが消えてなくなる割合を0.71%から1.02%の間であろうと推定している。研究者らは、この消失の主な原因がスパムフィルターであると考えている。

 ちなみに、この実験結果、よく読むと、メールがただ消えて無くなる場合と、スパムコンテンツフィルターの双方によって消失するメールの割合は1.79〜 3.36%であるという。スパムコンテンツフィルターによる消失割合を除くと、メールがただ消えて無くなる場合は0.71〜1.02%ということらしい。
 スパムコンテンツフィルターと一言で言うものの、それが各マシンにインストールされたものか、ネット上の通過点であるメールサーバやファイアウォールに設置されたものかは直接明確には書かれていないが、「相手の手元に届かない」と言うからには、通過点のものだろう。

 メールの構成もGIF画像添付やHTML形式など多種を用意し、複数のシステムを使い、大学・商用・企業のドメインを用い、オーストラリア・カナダ・ニュージーランド・イギリス・アメリカにある計46アカウントで、約1,700通を送り合ったと言う。

 その結果としていくつかのことが判明した。例えばGIFファイルを添付した場合にメールが消失する割合は特に通常の場合と違わなかった。逆にHTML形式のメールは、より高い割合で消失した。また、メールの書き方によって消失する割合が変化することも判明した。メールがビジネスの提案であったり、エンロン関連のニュース、あるいは特定の株式に関する情報である場合にはメールの消失率が急激に増加した。

 うーむ。なんでしょーねー。どういう意味判定でエンロンやある種の株に関するメールがより多く消失するのか、謎。

 1700通というのが総数なのかアカウント毎の発信数なのかが、文章から読み取り難いが、さすがに1700通を46アカウントで割った37通弱の発信では、実験としてあまりにも少なすぎる。(というより、全対象アカウントに送ってないよこれでは!)
 まあ、順当に考えて1アカウントから他の45アカウントに各37〜38通ずつ、総計約1700通送ったとしてみよう。
 1700通の0.72〜1.02%というのは、12〜17通だ。これは多いか少ないか?

 SF大会などで、申込書で住所を預かった1000人以上の参加者に対して、1年ほどの間に3〜5回発行物を郵送した経験から言うと、郵便の場合、不達率(相手に郵便が届かなかった率)は、約3〜5%なので、1700通の郵便を送れば50〜80通程度の不達が起こる。もちろんこの不達の大半は、住所入力を間違っていた、住所を預かってから送付までに時間があるために対象者が引っ越していた、郵便受けの表札が前の人のままになっていたり住居が判り難かったりして配達員が宛先なしと判断した……などの、住所不備が大半で、郵便局のシステムというよりは、多くの場合郵便を使う我々側の問題に拠るもので、その多くが「宛先不明」で帰って来る。
 しかし、それらとは明らかに別の郵便事故というものはたしかに発生する。
 たとえば、神北が実家に住んでいた頃、番地違いに全く同姓同名の方が居られて、毎年年賀状の誤配達を交換する事が定番行事になっていた。
 たとえば、1989年の第二十八回日本SF大会ダイナ★コンEX実行委員会では、当時事務所を置いていた名古屋駅裏のマンションの入り口の、表札を掲げた郵便箱と違う空き室の郵便受けに自分たち宛の郵便物が突っ込まれているのにスタッフの1人が気づき、集配局(たしか中村局だったと思う)に苦情と是正要請を入れたことがある。
 それ以外にも、送ったのに届きも戻りもしなかったものというのは、経験上確かにある。

 郵便と較べて、0.72〜1.02%もしくは1.79〜 3.36%のメールの消失率というのは、そうそう驚くほど高いものではないと思うのだが、どんなものであろうか?
 神北の感想としては、スパムを除いて最大30通に1通ずつメールが消えているというのは、わりと迷惑だとは思うが「驚くには当たらない量」というところか。

 しかし、なんかこの記事の結びは、「こうした問題はいずれもSMTPやスパム対策の問題であるとして、研究者らは「SureMail」というSMTPに基づいた新しいメールインフラを提案し、実装したことを論文の中で述べている。」という話になっているので、SureMailという商品の認知のための論文なんじゃネーの?……という気もする。

|

« 恐ろしい商売だぞ | トップページ | いない人だぞ »

コメント

まず、この数字ですが spam対策を本業としている私から見ると、非常にうそ臭い数字に見えます。

spam対策において必要なメールを誤検知してしまい消してしまうことは最悪の事態とされており、どの業者も0.01%(10000通に1通)以下となるようにシステムを設計しています。

あるプロバイダーでは、数十万人の会員がおり、毎月数億通のメールを処理していますが、メールが消えたという苦情は毎月数件、少ない月にはまったくないこともあります。

この人たちの仮定では、信用できない相手からのメールをブロックするためにメールが消えると主張しています。

この人たちの進められているシステムは、メールの送信相手を信用するために送信者個人を認証しようという方法ですが、数十万人・数百万人いるISPでは現実的に不可能です。

現在ISP間で相手を信用するための方法としては全く別の方法が標準化されており、それの普及段階になっていますので、このシステムの効果は少ないと思います。

また、このシステムを使用しても、可能なことは送信者の個人ごとの信頼性を上げるだけで、相手に届いたことも相手がが読んだことも確認できません。

あと、これが普及したら真っ先に使用するのは詐欺師であると思います。
詐欺師は人を信用させるためには手間を厭いませんから、適当な会社をでっち上げて謄本を上げて証明をうけようとします。
このようなペーパーカンパニーを排除する仕組みも持ち合わせていませんので、結局は個人のポリシーでメール排除をすることになり、メールの消失率は変わらないと考えられます。

私が勤務するプロバイダーでも3年前に同様のシステムを検討して、使えないということで導入を見送りました。

投稿: 池田武 | 2006/10/18 13:33

実際にメールが消える最大の原因は、容量オーバーと不完全なアドレス指定です。
それであれば1%から2%というのは妥当な数字ではないかと思います。

投稿: 池田武 | 2006/10/18 13:38

池田武 さま

 ふむふむ。実際には、プロバイダのスパム対応は、この論文よりもっとずっと高度なものに進んでいるんですねぇ。
 しかし、そういう現状下の2006年10月に、この、実情とは数値的にかけ離れ、最終的に御社では3年前に見捨てたような時代遅れの方法論に集約するらしき「米Microsoftの研究部門であるMicrosoft Research所属の研究者とカリフォルニア大学バークレー校の研究者の計3人が共同で行なった」研究の論文が、載って来たんでしょうねぇ?

投稿: 神北恵太 | 2006/10/19 00:57

この記事で触れられていないのが不思議なんですが、ISP間のSMTPサーバ間での転送の際にタイムアウトするとかってありえないのでしょうか?

投稿: おかてん。 | 2006/10/21 01:25

おかてん。 さま

 基本的に、SMTPサーバ間のタイムオーバーって、デーモンが設定回数までリトライしてくれないんですかねぇ? 古いままのメールシステムって、そこまでは賢くない?

投稿: 神北恵太 | 2006/10/21 03:13

InternetWatchの元記事で、インターネットのメールが使ってるSMTPって、「即時性」と「到達性」に関して無保証なプロトコルである、という点に言及してないのは何故?

以前、到達時間を調べたら最大9日間かかった話とか、
中継サーバのトラブルでメールそのものが消えたり化けたり…

10年前に比べて、まず間違いなくUUCPじゃなくIP接続になっている時点で、格段に良くはなっているけどね。

そもそも、消えて困るような重要な用件をメール一通送って終わりにしちゃいけませんぜ

投稿: 通りすがりのケン | 2006/10/29 22:52

通りすがりのケン さま

 まー、その通りですねぇ。
 ちなみに私の場合、今は大勢で仕事をする時は、連絡は大抵 YahooGroup 等のMLになっていて、自分にも配信されるから通達し損ないが発生する事は、まず無くなっています。
 MLだと、後から配信済みのメールを確認出来る等、使いようによってはフェールセーフに使えるような機能がいろいろあって、私にとっては、割と便利ですね。

投稿: 神北恵太 | 2006/10/30 03:57

コメントを書く



(ウェブ上には掲載しません)




トラックバック

この記事のトラックバックURL:
http://app.cocolog-nifty.com/t/trackback/29746/12328183

この記事へのトラックバック一覧です: 消えるぞ:

« 恐ろしい商売だぞ | トップページ | いない人だぞ »