3月15日、ニュージーランドのクライストチャーチで2つのモスクが銃による襲撃を受けた事件で、銃撃犯は何十人もの罪のない人々を殺害する様子をライブ配信した。この事件で世界は、暴力的な有害コンテンツを取り締まるための現在のソーシャル・メディアの方針とアルゴリズムの不備を思い知ることとなった。
犯人は襲撃の数日前から計画を吹聴し、ネット上に犯行声明を出していた。そして恐ろしい犯行の現場をフェイスブックでライブ配信した。この襲撃によって49人が亡くなり（日本語版注：その後1人増え50人に）、数十名が負傷している。
相次ぐ嫌がらせやフェイクニュースのスキャンダルを受け、ソーシャルメディア企業は過去18カ月にわたり、コンテンツ・モデレーターの増強に多額の投資をしてきたが、犯行動画の拡散防止にはほとんど効果がなかった。配信が20分間続いただけではなく、映像はユーチューブに再投稿され、いくつかのクリップは1時間以上経っても削除されないままだった。
専門家によると、犯行動画が検閲フィルターをすり抜けたのには、いくつかの要因がある。
他のプラットホームへの拡散を防ぐためには、問題の映像をすばやく捕捉することが極めて重要となる。しかし単純に言って、ソーシャル・メディアのモデレーションは、リアルタイムでコンテンツを捉えるようにはできていない。投稿コンテンツをチェックするプロセスを効率的な形で自動化するのは不可能であり、強制的に終了する必要のある生配信を人力で特定するのは「常にネットワークを流れ続けるデータの干し草の山の中から、1本の針を探し出すようなものです」とニューヨーク大学ジャーナリズム大学院のチャールズ・セアイフ教授は話す。一定の評価を得たユーザーにのみ生配信を許可するといった工夫をすれば、フェイスブックはリスクを低減できるかもしれない、と付け加えた。
モデレーターたちは常にデータに圧倒されている。ユーチューブに投稿された襲撃映像は、不適切コンテンツをチェックするために雇われた人員がすべてを把握する暇もないほどの速さで拡散した。チェックのプロセスの部分的な自動化は可能だが、動画を再投稿した人々はその一部を切り取り、画像を加工することでこうしたアルゴリズムを回避したようだ。
ソーシャル・メディア企業は、アルゴリズムの微調整によって問題が疑われる動画の表示優先度を下げる仕組みも取り入れている。しかし、南カリフォルニア大学のマイク・アナニー准教授は、こういったアルゴリズムはおそらくこの襲撃動画の人気度によって無効化されてしまったと述べている。
これらの要因は重大な制度的問題を反映している。そもそも、フェイスブックやユーチューブ、その他の大規模ソーシャル・プラットホームは自身をコンテンツの裁定者だとは認識していないのだ。 暴力的あるいは憎悪に満ちたコンテンツの拡散を防ぐためには、極右的な情報発信源のより積極的な取り締りが有効であることが研究によって明らかになっている。「ソーシャル・メディア企業の対応は後手に回る傾向があります。これは根深い文化の問題なのです」。
