Amazon Bedrock Knowledge Bases でもサポート開始 (preview) した噂の GraphRAG とは一体なんなのか ?!

データベースの世界では基本的にテーブルという二次元の構造でデータを管理し、主キーや外部キーを用いてテーブル間の関係を表現します。しかし、現実世界のデータは必ずしもテーブル構造に適していません。例えば、「誰が誰を知っているか」「どの商品がどの商品と関連しているか」「あるアイデアが別のアイデアにどのように影響したか」といった複雑な関係性を、リレーショナルデータベースで表現しようとすると、多数の結合テーブルが必要になり、クエリも複雑化してしまいます。

グラフデータベースは、このような関係性を直感的に表現・管理するために設計されたデータベースです。その基本構造は以下の通りです。

• ノード (頂点) : エンティティを表現する。例えば、人物、会社、場所、商品など。各ノードには、名前や属性といったプロパティを持たせることができる。また、ノードは「Company」「City」「Employee」のようなラベルを持つことができ、これによってノードの種類を分類することができる。
• リレーション : ノード間の関係性を表現し、エッジとも呼ばれる。例えば「HAS_CEO (〜という CEO がいる)」「LOCATED_IN (〜に位置する)」「INFLUENCED (〜に影響を受けた)」といった関係性を表す。リレーションは方向性を持ち、さらにプロパティ (開始日や終了日など) を付与することができる。

このような構造により、例えば「Company ラベルのノードが City ラベルのノードに対して LOCATED_IN リレーションを持つ」といった形で、現実世界の関係性を直感的にモデル化することができます。

このような構造を持つグラフデータベースは、後述する GraphRAG において、文書から抽出した知識を構造化し、関係性を保持したまま検索可能にするための重要な基盤技術となっています。Amazon Neptune は、このようなグラフデータベースをマネージドサービスとして提供し、スケーラブルで信頼性の高いグラフデータの管理を実現します。

GraphRAG は、文書から抽出した知識をグラフ構造として表現し、それを活用して高精度な質問応答を実現する手法です。その処理は大きく分けてグラフ構築フェーズと検索 + テキスト生成フェーズの 2 つで構成されています。

グラフ構築フェーズでは、まず文書からエンティティとその関係性を抽出し、トリプレット (SVO : 主語-述語-目的語) の形式に変換します。このトリプレットはグラフデータベースに格納され、主語と目的語がノードとして、述語がリレーションとして表現されます。また、それぞれの要素に関する追加情報はプロパティとして保存されます。トリプレットの抽出には、Amazon Comprehend のような自然言語処理サービスの構文解析器を用いることもできますし、LLM にグラフ構造抽出処理を指示することもできます。

検索 + テキスト生成フェーズでは、ユーザーからの質問を基にグラフのクエリを生成し、グラフデータベースから関連する部分グラフを取得します。この構造化された情報が LLM に提供され、LLM はこれを基に回答を生成します。

GraphRAG の最大の特徴は、エンティティ間の関係性を明示的に保持できる点です。従来の RAG では失われがちだった「どのように影響したか」といった因果関係を、グラフ構造として保存することで、より正確な回答が可能になります。例えば、「印象派の技法が後世の芸術運動にどう影響したか」という質問に対して、影響の連鎖を適切に追跡できるようになります。

文書の内容をグラフ構造として圧縮することで、情報の冗長性も効果的に排除できます。同じエンティティに関する情報は自然に統合され、「Lost in the middle」ジレンマの問題が緩和されます。また、情報が構造化された形式で保存されることで、LLM がより確実に情報を理解できるようになります。

これらの機能は、複雑な技術文書の理解と質問応答、製品間の関連性を考慮したカスタマーサポート、研究論文の引用関係や影響の分析、法令や規制の関連性の把握など、幅広いユースケースで活用できます。特に、Amazon Bedrock Knowledge Bases と Amazon Neptune の統合により、これらの利点を簡単に活用できる環境が整いました。

GraphRAG を構築する前に取り込みたいドキュメントを Amazon Simple Storage Service (Amazon S3) に配置してください。以下では こちらの手順 に従って AWS のホワイトペーパー を Amazon S3 にアップロードした前提で進めていきます。今回は東京リージョンで作業しています。

3. 「Step 1 Provide Knowledge Base detals」は変更せず、次に進みます。

7. 10 分ほど待機すると Neptune Analytics の作成が完了します。

すると、ドキュメントのチャンク化、ベクトル化、グラフ構造の作成などの処理が実行されます。裏側で Titan Text Embeddings や Claude 3 Haiku が甲斐甲斐しく働いている間、ドキュメントのサイズによって数分から数時間待つ必要があります。

※ 今回投入した AWS のホワイトペーパーは 60 ファイルあり、合計 2,163 ページが含まれています。私のケースでは、同期は 17 分程度で完了しました。

回答は以下のようになりました。

いかがでしょうか。クエリとしては、(1) 複数のドキュメントにまたがる情報を統合する必要がある、(2) 文脈を理解する必要がある、(3) 因果関係の理解が必要、といった観点で考えてみましたが、GraphRAG によってよい回答が得られたのではないかと思います。

Neptune Analytics に構築されたグラフに対してクエリを叩いたり、可視化をするには Amazon SageMaker AI Notebook インスタンス を利用するのが簡単です。「Creating a new Neptune Analytics notebook using a AWS CloudFormation template (AWS CloudFormation テンプレートを用いて新しい Neptune Analytics ノートブックを作成)」のドキュメントにそれぞれのリージョンにおける AWS CloudFormation テンプレートが用意されており、これを使うと Neptune Analytics の操作をするための graph-notebook などが設定済みのノートブックインスタンスが起動します。

CloufFormation スタックのパラメータでいくつか Neptune Analytics に接続するためのネットワークの設定を入力します。事前に Neptune Analytics のパブリック接続を有効化しましょう。

※よりセキュアに接続したい場合は Amazon Virtual Private Cloud (VPC) にプライベートエンドポイントを作成することも可能です。

4. 確認画面で「Submit (送信)」ボタンをクリックすれば変更が反映されます。

6. 「Step 1 Create stack (ステップ 1 スタックの作成)」は変更せず、「Step 2 Specify stack details (ステップ 2 スタック詳細の指定)」に進みます。

9. 「Step 4 Review and create (ステップ 4 確認と作成)」の内容が問題なければ「Submit (送信)」ボタンをクリックします。CloudFormation スタックの作成が始まり、数分待つと完了します。

今回 CloudFormation で作成した SageMaker AI Notebook は、Neptune Analytics の操作をするための graph-notebook が設定済みであり、便利なマジックコマンドを使うことができます。

このように Neptune Analytics の中に埋め込みベクトルも格納されていることで、グラフクエリだけでなく、ベクトル検索も組み合わせたハイブリッド検索が実現されています。

本記事では、Amazon Bedrock Knowledge Bases の GraphRAG サポート (プレビュー) について、その基本的な概念から実装方法まで解説してきました。GraphRAG は、従来の RAG が抱えていた関係性の分断や冗長な情報取得、グローバルな文脈の欠如といった課題に対して、グラフ構造を活用することで効果的な解決策を提供します。

Amazon Bedrock Knowledge Bases のマネージドな仕組みにより、これまで複雑だった GraphRAG の実装が大幅に簡素化され、より多くの開発者がこの技術を活用できるようになりました。ぜひみなさんの社内のドキュメントを用いて GraphRAG システムを構築してみて、どのような検索体験が得られるか確認してみてはいかがでしょうか。