AIによる参照元つき高品質SEO記事作成ツールの開発ロードマップ

コーポレートサイト上の ソース・参照元つきAIによる高品質SEO記事コンテンツ作成ツールα版が完成しました🎉  の記事にて、AI（GPT4-turbo）を利用したAIによる高品質SEO記事作成ツールのα版が完成したことをご報告させていただきました。

現在はAIによる高品質SEO記事作成ツール: クローズドβ版公開を目指して鋭意開発中ですが、なかなか課題も山積みでして、本記事にて公開までの開発ロードマップを策定・公開していきたいと思います。

（本記事は専門的な内容を含みます）

目次:

以下、開発ロードマップ上の機能について詳細です。

現在は[参照情報なし, すべて, 見出しと参照情報のみ]の3パターンのマークダウンファイルを出力、ユーザーにダウンロードしてもらって手元で参考情報と生成された本文を比較してもらう、というフローを想定しています。

下画像は「すべて」のバージョンを表示させた画像です。上半分は生成されたテキスト、下のモザイク箇所が根拠となった参照元（URLと該当箇所）です。

ユーザー自身にテキスト比較環境を毎回用意してもらうのは手間でしょうから、ここはツール上で簡易的なビューアー・エディタを用意する予定。

左側ペインに参照情報なしの見出しと本文、右側ペインに見出しと参考元情報という2カラム表示で、横並びに比較してもらえる表示とする予定です。

→ 簡易的なエディタになりましたが、下記のように実装できました🎉

ここはかなり悩ましいところです。モデルの学習データ、ファインチューニング用の学習データとして大量のデータをAIに読み込ませる場合、著作権法上において著作権の侵害とみなされる可能性は日本国内においてはかなり低いです。

しかし、プロンプトによって参考データを送付すること、またユーザー自身が参考データを選択する、ということは明らかに著作物の恩恵を具体的に得る行為となっているため、著作権の侵害とみなされる可能性が高いです。（グレーゾーンだが、かなりブラックに近い）

ただ、参考データとするだけで無断転載・無断引用をしているわけではない、というポイントにおいて救いがありそうです。実際、いわゆる1円ライターがやっていることも同様のことを実施しているわけで、これがAIに置き換わっただけに直ちに著作権侵害になるかどうかは微妙なラインです。

ほかに明確な問題がありうるとすると、参考データを無断で「引用」してしまっている場合。特定の文章・一文がAIによってパラフレーズ（言い方の改変）されず、原文そのまま引用されている場合には引用元として明記が必要となります。

また引用元のチェックは、AIによって抽出された参照元のみならず、スクレイピングによって取得したコンテンツと比較して行っていくべきでしょう。そのほうがより厳密な引用チェックとなります。

ただし、「コピペチェック」自体の機能は他ツールでも実施が可能であり、コピペチェックに特化した専用ツールが既にいくつも出ています。

コピペチェック機能の実装はなかなか骨の折れそうな作業でありリリースに大幅な遅延が想定されるため、当面は上記のようなツールをユーザー側で別途組み合わせてご利用いただくことを想定しています。

またスクレイピング実施時において、スクレイピングを禁止するサイトはスクレイピングさせないように処理をすることが必要です。

本ツールのフロントはStreamlitで構築しており、そのままStreamlit Cloudで公開してしまうのが最も手間がかからない方法です。

しかし、ローカルとの差異でうまく環境が立ち上がらなかったり、スクレイピングがうまく実行できなかったり、またStreamlit Cloudの仕様で独自ドメインとの接続ができなかったりと多くの課題があるため、dockerコンテナベースで公開可能なサービスを用いてデプロイする予定です。

参考:

ログイン機能実装の観点からSupabaseを利用する予定でいますが、Fly.ioも候補としては検討余地があります。

参考: サヨナラHeroku 〜アプリケーションの知識だけで本番稼働を実現できる無料のプラットフォームを追い求めて〜

あまり手間をかけたくないこともあり、Supabaseによるログイン認証で実装していきたいと思っています。

Streamlitとの相性がどのくらいなのかは不安が残るところです。

ここはLangChainを利用するのが簡単なのかなと検討中。

現在はプロンプトによって根拠を示すことを指示し、JSONデータの出力指定によって本文と根拠とを別々で示すように処理しています。

基本的にはそれなりにうまく動作していますが、記事タイトルをそのまま表示するだけを根拠部分として表示したりと、最もウリである部分にもかかわらず正確性にはまだ不安定さが残ります。

一旦はクローズドβ版としてのデプロイを優先させていくものの、デプロイ後には優先して参照元・根拠部分の正確性向上を最優秀課題として性能向上させていく予定です。

根拠部分の正確性を改善、より高めるには下記2つの方向性があると考えています。

前者において、現在はPydanticによる型ヒントを利用し、Pydanticによるクラスをそのまま文字列変換、プロンプト内で渡すことによって出力データのコントロールを行っています。

この点は、よりGPTが読みやすいJSON形式に変換してから渡す、という点でさらに改善できそうです。

RAGを構築する方法についてはまだ私自身勉強中。ただ、RAGを活用することによって「推論の根拠」として、実際に根拠とした箇所の表示が（推論という正しい筋道で）可能になりそうです。

本ツールの一番の特徴は「高品質であること」です。そのため、一旦は生成にかかったコストや維持コストは置いておいて、とにかく「実用・公開に耐えるだけの高品質な記事」を生成していくことを優先していきたく思います。

現時点での生成コストは、タイトル、見出し、本文含めて3,000字程度のテキスト生成およびサムネイル画像・見出し画像の生成すべて含めておよそ$5前後。1ドル=140円で換算すると、3,000文字の記事を作成するのに700円かかるという計算になります。

サーバー・サービス維持コストが別途発生するとしても、そこまでコストを意識しない実験的な生成でこの数値は「悪くない」と考えています。

クラウドソーシングで依頼する場合の最安相場である1文字=1円よりもさらに圧倒的に安く、また作成時間も10分程度と、圧倒的に記事作成コストを圧縮できることが可能だからです。 また1円ライターよりも高品質であることは保証できます。

ただ、ほとんどコスト削減のための対策は未実施なので、削減余地はあります。ただし記事品質を下げてまで、コスト削減することは行わない予定です。またコスト削減施策も優先度は低いです。

テスト実装段階では、プロンプトに過去テキスト埋め込みをした方が重複説明が発生する可能性が低かったため、今のところ生成済みテキストをそのまま再度プロンプトに埋め込む方式をとっています。 もっと上手いやり方や、わざわざ埋め込みせずとも重複説明が発生しないようであれば、この部分のトークンは節約できる可能性があります。

短期・長期記憶を持たせるための方法はいくつかあります。そのままGPTを利用するやり方のなかで最も効率と効果が高そうなのは「以前に渡した内容を要約してから再度プロンプトに埋め込む」という方式のようです。

参考: ChatGPTに会話の長期記憶を持たせてみる #ChatGPT - Qiita

ほかには、LangChainのMemory機能を活用すれば、会話の柔軟な記憶や要約処理ができるようです。

参考: LangchainのMemory機能の覚え書き #ChatGPT - Qiita

品質に影響を及ぼさずにコスト削減できるポイントとしては、画像生成においてDALL-E(OpenAI)ではなく別の無料生成サービスを利用すること。現在はDALL-Eが少ないテキストを自動的に変換していい感じにプロンプトとして送ってくれることが便利なためDALL-Eを利用していますが、サムネイル画像生成と各見出し画像生成で1記事あたり$1〜$1.5程度は発生しています。

試しに無料での画像生成が可能なStable Diffusionで、日本語記事タイトルを英語に翻訳しただけのタイトルを入力。想像以上に記事タイトルのイメージに近い画像が生成されました。

Stable Diffusionは明確にテイストをパラメータとして指定できるようで、無料な点のみならず使い勝手も良さそうです。 ただし、無料とはいってもDALL-Eとは異なりStable Diffusionの利用にはサーバーを用意する必要がありますが、サーバーレスによって実装できる余地もありそうです。

参考: AWS Lambdaによるサーバーレス画像⽣成AIの作成⽅法 | FUJISOFT Technical Report

β版公開より後の予定ですが、なるべく早くDALL-EからStable Diffusionへの移行を図りたいと思います。

おもにスクレイピング時の待ち時間短縮を目指します。

現在はSeleniumによって、選択先の記事コンテンツのスクレイピングを実施しています。ローカルからスクレイピングを実行。

Seleniumは並列処理によるスクレイピングを実施することはできない（難しい）ため、利用ライブラリとしてScrapyへと変更し、並列処理によるスクレイピング待ち時間の短縮を目指します。

ただし、現在の対象5記事・ローカルから実行の場合においても、スクレイピング対象先のサイトや通信環境次第ではありますが、高速WiFi下でおよそ実行時間が1分30秒という結果になっています。

オープンβ版公開時には負荷分散やIPアドレスのランダム化等、さまざまなスクレイピングのための仕組みも必要となることが想像されますが、クローズドβ版においては一旦このままSeleniumでの実装としていく予定です。

LangChainなどのエージェントを利用すれば、GPTによるテキスト生成時にも並列処理することが可能なようです。

ただし、途中までに生成したテキストを読み込まない状態だと、同一の説明を何度も繰り返すようなテキストが生成されてしまいます。（それまでに生成した文脈を考慮しないため）

そのため、テキスト生成を並列化するかどうかは検討中。ここは速度よりも記事品質を優先させていきます。

クローラやGPTなどの待ち時間は、およそ下記になります。

いまのところ、待ち時間の合計はおよそ12分となっています。 本当は10分以内まで縮めたいところですが、今は生成スピードよりも生成される記事の品質にこだわって開発していきたいです。

実際に自身で運用してみて思うのですが、生成されたアウトライン自体をすべてボツにする機会は少ないです。

アウトラインを一部編集したり、生成された本文テキストをみて見出しやタイトルを変更するなど、アウトラインと本文を行ったり来たりしながら調整していきます。

そのため、スクレイピング以降のすべての処理はキューリストとして、バックグラウンドで実行させるのが良さそうと感じています。

ユーザーとしては、キーワードの入力と参考対象記事を選択するだけ。その間は他のキーワードの入力・参考対象の選択が可能。 一定時間が経過するとすべての生成結果が確認できるようになるという仕組みです。

キューリストがすべて完了したらメールで通知する、などの実装も必要になるかもしれません。

現時点では、本AIツールはデータベースを実装していません。生成データ等はすべてブラウザのキャッシュ上に保存させる方法をとっています。

しかし、データ保存の機能については当面は優先度は低いものと考えており、すべての生成データを保存するとなると、保存データ量も膨大なものになることが想定されます。

公開時にはログイン機能を実装することもあり、Supabaseなどを用いて何らかのデータベースを利用する予定ではありますが、データベースにどこまでの情報を保存させるかは検討中の段階です。

カスタムプロンプトはユーザーが自由に追加で定義するプロンプトですが、このカスタムプロンプトを一からユーザーが記述するのではなく、システム上であらかじめいくつかのテンプレートを用意しておく機能です。

たとえば、「架空のユーザーにインタビューしているように書く」や「絵文字や！マークを多用して、若年層向けのテキストで書く」など。

悪意のあるユーザーによって、プロンプトインジェクションをすることで指示しているプロンプトが引っこ抜かれる、盗まれるということは有りえます。

ただ、そもそも本ツールの優位性はプロンプトそれ自体にはないと考えています。エンジニアの方であれば、本ツールと同様のことを実現することは比較的容易です。

しかし、世の中の多くの方は非エンジニアであり、またユーザーは「いかに使いやすいか」「いかに面倒を省いてくれるか」という点に価値を感じるものと思っています。

したがって本ツールの優位性はプロンプトそれ自体ではなく、「高品質な記事作成のための一連のプロセスを半自動化してくれる、ツールを利用したプロセスそのもの」にあります。

そのため、プロンプトインジェクション対策は多少は実施予定のもののそこまで力を注ぐつもりはなく、利用規約で該当の行為を禁止する、必要に応じてログチェックを行う等で対策をしていくつもりです。

現在はStreamlitで構築しており、当面はこのままデプロイする予定です。

ただユーザー数が増えてきたり、よりインタラクティブなフロントでの動作を可能にしたいという場合には、フロントとバックエンドとの分離、ひいてはサーバレス化での運用も視野に入れていきたいと思います。

見出しについては編集、hレベルの変更については対応しているものの、新しく見出しを追加することには対応していません。

アウトラインを確認していると、「この箇所にもう1つ見出しが欲しいな…」と思い追加したいこともしばしば。また反対に「この見出しは重複になっているし、いらないな」と思うことも。

見出し新規追加・削除機能はまさしくAIとの協業ライティングを実現するのに必要な機能とは感じていますが、まずはサービス公開を優先して進めていきたいこともあり、一旦はこのままクローズドβ版までは進めていく予定です。

また、見出しの順番並び替えをドラッグ&ドロップで行うことは現在できません。編集はできるものの、テキストボックスのみによる編集となります。これはStreamlitで構築している関係で、Streamlitではそのようなインタラクティブな操作（並び替え）をもたらす機能がないためです。

ユーザー体験としても重要そうなので実装したいところなのですが、フロントリプレイスは工数が大変大きくなるため、泣く泣く公開と他機能を優先していきたいと思います…！ しばらくはこのまま公開へと進めてまいります。

2024/02/23追記: 見出し削除機能のみ、追加実装しました！見出しの新規追加も実装できそうです。ドラッグ&ドロップによる並び替えは仕様上難しそうなので、しばらく実装する予定はありません。

検索キーワードをみていると、同じ意味のものを異なるキーワードで検索されたり、表記ゆれの形で検索されるケースが多々あります。

1つの記事で表記ゆれ対応する形でも良いのですが、キーワードが長くタイトルテキスト内の占有率が高く対応しづらかったり、クリック率改善のため別記事として作成するケースもしばしば。

このとき、本ツールで競合記事を参考にした場合、キーワードが参考記事のキーワードのまま生成されてしまいます。

そこで、表記ゆれ・別表現キーワード用の記事として制作しなおすための、タイトル・見出し編集画面における「キーワード一括置換機能」を将来的に実装していく予定です。

また、参考記事をGPTに提出し本文を生成する際にも、「〇〇の代わりに〇〇のキーワードを使って記事を書いてください」と指示できるよう、本文生成時での置換キーワード指定にも対応予定です。

ごくまれにですが、生成されたテキストがあらかじめセットされている指示プロンプトをそのまま吐き出してしまう見出しパートが生成される場合があります。

生成されたテキストに指示プロンプトが含まれているか？のチェック機構と、含まれていた場合の処理（再生成する、あるいはエラーで一旦停止させる）を実装することが必要になりそうです。

GPT以外にも、特に文章生成モデルに関してはClaude3といったGPTよりも（おそらく）高性能なモデルが出てきました。

ユーザーの選択によって、GPTかClaudeかなどモデルを選べるようにしていきたいと思います。

以降はオープンβ版、または本製品版を公開できて以降に「こんなことが出来るようになると良いな」という妄想です。

現在はあくまでデフォルトのGPTに対して、選択した記事を参考文献として渡す形になっており、参考文献以外の部分についてはGPTが学習した一般的なデータをもとにしています。

参考文献以外の部分においてもGPTの基礎的なナレッジを強化させるため、たとえば自社メディアで既に公開している記事を活用する方法があります。

活用方法として考えられるのは、下記の2通り。

実装の用意さや現実的な運用を考慮すると、前者のRAGを構築する方法のほうがベターでしょう。

RAGを構築していく場合はRAG構築プランという別途のプランにする予定です。その場合にユーザーが自動的にRAGを構築・運用できるようなシステムとするか、受託のような形で個別にカスタマイズ対応するかは検討しています。（おそらく個別対応にする予定）

今のところ、参照情報として渡す情報はGoogle検索ベースでのテキスト情報に限定しています。

将来的には、キーワード検索にYouTubeを含めたり、Podcastも含めたりようになると面白いのではと。 それぞれ音声を自動文字起こし・要約してソース元として渡せるようにしてみたいと考えています。

また、ユーザーがPDFやDocs形式でのファイルをアップロードすることも可能にできると面白いなと。 この場合、機密性にも考慮してAzureによるRAGの実装を検討しています。

招待機能を実装することで、キーワード選定と参考記事の選択はSEO担当者やマーケターが、生成された記事の編集・調整はライターがと役割分担が可能になりそうです。

AIが生成した元記事、編集した記事、それらの差分をチェックできるバージョン管理機能がついたら、承認フローとしても便利そうだなと思います。

正直WordPressとはあまり関わりたくない気持ちはありますが…！しかし広く普及しているCMSであることも事実。ユーザーのことを考えると、ワンクリックでWordPressへ入稿する仕組みがあるに越したことはありません。

この場合はプラグインで実装することになるかもしれません。実装も手間そうですし、かなり優先度は低め。

このように妄想はつきませんが…！まずはクローズドβでのAI高品質SEO記事作成ツールの公開を目指して開発してまいります。

本AIツールにご興味をもたれた方は、ぜひクローズドβ版の招待のための先行登録をお願い致します。

ソース・参照元つきAIによる高品質SEO記事コンテンツ作成ツール: クローズドβ版先行ご登録ページ

本AIツールの機能について、詳細につきましては ソース・参照元つきAIによる高品質SEO記事コンテンツ作成ツールα版が完成しました🎉 の記事よりご確認ください。

この記事の気になった箇所を読み返す: