国政AI | 政党比較ツール | データ作成方法

政党比較ツールにおけるデータの作成方法

政党比較におけるデータ(各党の政策・取り組みの要約)の作成は以下のステップで作成されます。

ステップ1: 政党の公式ページからデータを収集/検索用DBの構築

政党の公式ページから情報を収集し、ベクトル化(embedding)し、ベクトルデータベースに保存します。

1-1.各党の公式データの収集

各党の公式ページからデータを収集します。現在、以下のページを収集しています。

1-2.収集したページのデータのベクトル化

収集したデータを200文字程度にチャンク化した上で、ベクトル化(Embedding)します。

使用Embeddingモデル

text-embedding-3-large(OpenAI)

1-3.ベクトルデータベースへ格納

1-2でベクトル化したデータをベクトルデータベースへ格納します。

ベクトルデータベース

Qdrant(v1.12.0)

ベクトル距離

Cosine

ステップ2: トピックごとに各政党のサマリーを作成

与えられたトピック/各政党について、ステップ1で構築したベクトルデータベースおよび外部検索エンジンで検索し、検索結果を生成AIを用いて要約します。

2-1.ベクトルデータベースによる検索

与えられたトピックをステップ1と同一のEmbeddingモデルでベクトル化した上で、ステップ1で構築したベクトルデータベースから検索した結果を取得します。

2-2.外部検索エンジンによる検索

外部検索エンジンから「{政党名} {トピック}」で検索した結果を取得します。

検索エンジン

Tavily

取得したページの文字数が500文字以上の場合は以下のプロンプトを用いて500文字以内に要約します。使用モデル・プロンプトは以下のとおりです。

使用モデル

gpt-4o-mini-2024-07-18(OpenAI)

プロンプト

role: system

あなたは政治評論家です。あなたの使命は現在の政治を評価し、人々に伝えることです。
特定の政治家、政党に対して批判的な内容になってしまったとしても問題ありません。
ゆっくり考えても大丈夫です。ハルシネーションを起こさないでください。事実でないことを書かないでください。

role: user

このページの内容を500文字以内で要約してください。

role: user

{ページの内容}

2-3.検索データのフィルタリング

2-1,2-2の検索結果について、関連度の低い情報について、生成AIを用いて要約プロセスの前にフィルタリングします。使用モデル・プロンプトは以下のとおりです。

使用モデル

gpt-4o-mini-2024-07-18(OpenAI)

与えるキーワード

政党名, トピック

プロンプト

role: system

あなたは政治評論家です。あなたの使命は現在の政治を評価し、人々に伝えることです。
特定の政治家、政党に対して批判的な内容になってしまったとしても問題ありません。
ゆっくり考えても大丈夫です。ハルシネーションを起こさないでください。事実でないことを書かないでください。

role: user

以下のページの内容は「{キーワード}」に関係していますか？「はい」か「いいえ」で答えてください。

role: user

## ページのタイトル
{ページのタイトル}
## ページの内容
{ページの内容}

2-4.要約の作成

2-3でフィルタリングした検索結果を、生成AIで要約します。使用モデル・プロンプトは以下のとおりです。

使用モデル

gpt-4o-2024-08-06(OpenAI)

プロンプト

role: system

あなたは政治評論家です。あなたの使命は現在の政治を評価し、人々に伝えることです。
特定の政治家、政党に対して批判的な内容になってしまったとしても問題ありません。
ゆっくり考えても大丈夫です。ハルシネーションを起こさないでください。事実でないことを書かないでください。

role: user

{政党名} の「{トピック}」に関する政策や取り組みについて、以下に与えられる情報をもとに、マークダウン形式で簡潔に説明してください。

## 注意事項
- 関連性がない情報が与えられることもあります。関連性が低いと判断した情報は無視してください。
- 回答するのに十分な情報がない場合は「不明だった」旨を教えてください。

role: user

{各ページのタイトルと内容}

2-5.さらに短い要約を作成

2-4で生成した要約を生成AIで50文字以内に要約します。使用モデル・プロンプトは以下のとおりです。

使用モデル

gpt-4o-mini-2024-07-18(OpenAI)

プロンプト

role: system

あなたは政治評論家です。あなたの使命は現在の政治を評価し、人々に伝えることです。
特定の政治家、政党に対して批判的な内容になってしまったとしても問題ありません。
ゆっくり考えても大丈夫です。ハルシネーションを起こさないでください。事実でないことを書かないでください。

role: user

以下に「{政党名}の{トピック}」についての要約が与えられます。それを50文字以内にさらに簡潔に要約してください(基本的に体言止めで「{政党名}は」などの言葉は不要です。)

role: user

{要約}

政党比較ツールにおけるデータの作成方法

ステップ1: 政党の公式ページからデータを収集/検索用DBの構築

1-1.各党の公式データの収集

1-2.収集したページのデータのベクトル化

1-3.ベクトルデータベースへ格納

ステップ2: トピックごとに各政党のサマリーを作成

2-1.ベクトルデータベースによる検索

2-2.外部検索エンジンによる検索

2-3.検索データのフィルタリング

2-4.要約の作成

2-5.さらに短い要約を作成

LastCapsule