BBC が Amazon S3 を利用して 100 年の歴史を保存

BBC Archives Technology and Services は、BBC の 100 年の歴史を持つアーカイブの管理者であり、歴史的な映画から現代のデジタルメディアまで、放送局の歴史を通じて収集された 1,600 万点のアセットを保有しています。チームは、アーカイブの配信コンテンツをすべて統合すること、デジタル化を通じてアーカイブのアクセシビリティを高めること、最新のソリューションを利用してメディアを保存することという 3 つの目標に重点を置いています。「機械学習の使用を容易にする柔軟なストレージやコンピューティングなどのツールを使用して、将来を見据えた戦略を立てたいと考えています」と BBC Archives Technology and Services の Head of Product and Services である Brendan Mallon 氏は述べています。「当社の目標は、アーカイブ内のコンテンツを保護して、今後 100 年間アクセスできるようにすることです」

放送局のデータは、ニュース、スポーツ、ラジオ、番組のジャンルごとに別々のリポジトリに分割されていました。同社は、アーカイブのための持続可能で一元化された計画を策定することを目的として、サプライチェーンとワークフローを標準化したいと考えていました。オンプレミスのインフラストラクチャをうまく活用していましたが、2017 年にシステムの複雑さを軽減する必要性を感じました。既存のさまざまなデータセットでは、コンテンツの集約が不必要に煩雑でした。そこで、チームはさまざまなストレージアプリケーションレイヤーを統合し、より持続可能なものにするための 5 年間のミッションに着手しました。

BBC は長年にわたって AWS 上でメディアアセット処理システムを実行していたため、長期的な保存戦略に貢献できる AWS ソリューションに移行することが現実的な次のステップでした。「一貫性のないデータセットから価値を引き出し、メディアに整合する権威的な単一のカタログを作成し、オーディエンスに価値をもたらすための一貫したアプローチを求めていました」と Mallon 氏は述べています。「AWS を利用することで、すべてのコンテンツのストレージを標準化できます」。

アーカイブデータの規模が大きいため、自動化するにはネットワーク移行が最も実用的なオプションでした。コンテンツの移行を完了するために、BBC は AWS Direct Connect を利用する既存のインフラストラクチャを使用しました。AWS Direct Connect は、ほぼリアルタイムの分析、迅速なデータバックアップ、または放送メディア処理を目的としてスムーズで信頼性の高い大規模なデータ転送を実現するために、ユーザーが AWS への専用ネットワーク接続を作成するのに役立つクラウドサービスです。2022 年 11 月、AWS パートナーである Cloudfirst.io (Cloudfirst) との約 12 か月間の計画とコンサルティングを経て、移行が開始されました。

ピーク時には、チームは AWS Direct Connect を利用して大量のコンテンツを AWS に転送し、1 日あたり 120 TB のデータを移行していました。10 か月以内に、チームは 25 PB のデータをクラウドに転送 (OUT) しました。これにより、従来のテープベースのメディアリポジトリの 1 つを廃止し、メディアアセット管理システムとパブリッククラウドストレージ間の次世代の抽象化を開発することができました。「アーカイブの物理インフラストラクチャの半分を廃止することができました」と BBC Archives Technology and Services の Senior Technical Architect である Mark Glanville 氏は述べています。「これにより、ロンドン中心部にあるいくつかの貴重な不動産の膨大な技術的スペースと電力が解放されます」。

BBC は、ほとんどのデータを Amazon S3 Glacier Instant Retrieval に移行しました。このソリューションは、BBC のアーカイブに保存されている種類のデータ用に、最適なタイプの柔軟なストレージを提供しました。チームは、約 3 PB のメディアを保管するメディアアセット処理システムのために AWS を利用していたので、Amazon S3 ソリューションの経験がありました。「AWS のチームと協力して、コンテンツの大部分に適したストレージクラスを選択しました」と Glanville 氏は述べています。「Amazon S3 Glacier Instant Retrieval を利用することで、コスト面での柔軟性を保ちながら、アーカイブから迅速に取得できるという恩恵を享受できます」。

チームは、Amazon S3 Glacier Instant Retrieval と Amazon S3 Intelligent-Tiering (パフォーマンスへの影響や運用オーバーヘッドなしで自動的にストレージコストを削減するクラウドストレージクラス) を組み合わせて利用しています。BBC は、パフォーマンスを犠牲にすることなく、想定されるアクセスレベルに応じて、この 2 つのストレージクラスから選択できます。

「Amazon S3 Glacier Instant Retrieval と Amazon S3 Intelligent-Tiering を利用することで、以前はどちらかと言えばホットストレージに保管していたコンテンツのために、アーカイブのような料金モデルを利用できます」と BBC の Executive Product Manager である Tom Cartwright 氏は述べています。「これは、プロジェクトの早い段階でデータの保存場所を決定できるため、非常に価値があります」。