TECHNOLOGY COLUMN ・ LLM運用コスト
トークン単価は下がっているのに、請求額は下がらない ── キャッシングとルーティングの最前線を追う
編集部・最終更新 2026年8月6日
「AIの利用料は高い」という声と、「AIモデルの値段はどんどん下がっている」という報道は、同時に正しくあり得ます。実際、主要なAIモデル各社は2026年にかけて、同じ内容を繰り返し送るコストを大幅に下げる「プロンプトキャッシュ」と、質問の難易度に応じて安いモデルへ自動的に振り分ける「モデルルーティング」という2つの仕組みを急速に整備してきました。前回の「AIは賢くなったのではない、読み込む量が増えただけだ」で軽く触れたプロンプトキャッシュを、今回はルーティングまで含めて掘り下げます。結論を先に言うと、この2つの技術は確かに実在し、確かに効いています。ただし「だから請求額は下がる」という単純な話にはなっていません。
本記事では、当サイト編集部が2026年8月時点で一次資料に当たって確認した数字だけを使い、何が実際に起きているかを整理します。
5〜30倍
エージェント型タスクが消費するトークン量、通常のチャットボット比（Gartner・2026年3月予測）
9割引
Anthropic・OpenAI・Google等、主要各社が横並びで揃えたキャッシュ読み込みの割引水準
最大30%
AWS Bedrock Intelligent Prompt Routingが公式に掲げるコスト削減率
AT A GLANCE
先に判定
- ✗「AIモデルの単価が下がれば、AI利用の請求額も自然に安くなる」
Gartnerは2026年3月の予測で「2030年までに1兆パラメータ級モデルの推論コストはプロバイダー視点で2025年比9割超下がる」としつつ、同じ発表内で「エージェント型の利用は1タスクあたり通常のチャットボットの5〜30倍のトークンを消費するため、消費量の増加が単価下落を上回り、総推論コストはむしろ増加が見込まれる」と明記している。
- ○「キャッシングとルーティングは、いま実際に効いている2大コスト削減策」
Anthropic・OpenAI・Google・DeepSeekは軒並みキャッシュの読み込みに9割前後の割引を用意し、AWSは同系統内モデルのルーティングで公式に「最大30%」の削減を掲げている。
- ○「業界はキャッシュの“契約の型”を同じ設計に収斂させつつある」
OpenAIは2026年7月のGPT-5.6で、自動適用・書き込み無料・読み込み5割引だった旧方式を廃止し、Anthropicが先行していた「明示指定・書き込み割増・読み込み9割引」型に転換した。
- △「出回っている削減率の数字は、そのまま信じていい」
AWSの「60%台」という数字は看板の「最大30%」と矛盾する誇張ではなく、条件の異なる別の公式資料が示す特定シナリオの実測値。RouteLLMの「品質95%維持」も、査読済み論文の数値を見るとベンチマークによって87〜95%とばらつく。
- △「コストを下げる技術を作った企業が、その価値を独り占めする」
ルーティング/キャッシュのゲートウェイだったPortkeyは“コスト削減”ではなく“AIエージェントのセキュリティ”を主目的にPalo Alto Networksへ買収され、老舗ルーティングスタートアップMartianは自社サイトを見る限りルーティング事業そのものを解釈可能性研究へ転換している。
01 · THE MECHANICS
図解 ── 実際の課金は2つの判断の掛け算で決まる
「キャッシュを使うか」と「どのモデルに振り分けるか」は別々の判断に見えますが、1本のリクエストに実際いくら課金されるかは、この2つの判断の掛け合わせで決まります。下の図はその関係を単純化したものです（割引率は概念の目安であり、実際の数値は本文で紹介する各社の仕様を参照してください）。
FIG. 01 — ルーティング×キャッシングの2×2マトリクス
図: 1本のリクエストの実際のコストは「どのモデルに振り分けるか（ルーティング）」と「同じ内容を再利用できるか（キャッシング）」という2つの独立した判断の掛け算で決まる。$の数は相対的な目安であり、実際の割引率・料金は各社・各モデルで異なる（本文参照）。2026年8月時点の当サイト編集部の整理。
02 · CACHING, NOW
キャッシングの現在地 ── 業界が同じ契約に収斂している
プロンプトキャッシュは、モデルに送る文章のうち「毎回ほぼ同じ内容になる部分」（長いシステム指示、共通のドキュメント、会話の前半部分など）をサーバー側に一定時間保持しておき、次に同じ内容が送られてきたときは新たに計算し直さず、保持しておいた結果を再利用する仕組みです。読み込み側の料金は大幅に割り引かれる一方、多くの方式では新規にキャッシュへ書き込む際にわずかな割増料金がかかります。
Anthropic ── 明示指定・書き込み割増・9割引という「型」を先に敷いた
Anthropicは「cache_control」という指定で、文章中に「ここまでをキャッシュする」という区切り（ブレークポイント）を明示します。保持期間（TTL）は5分がデフォルトで、1時間まで延長するオプションもありますが、延長すると書き込み料金も上がります（5分TTLは通常料金の1.25倍、1時間TTLは2倍）。読み込み側はTTLの長さにかかわらず通常料金の0.1倍、つまり9割引です。キャッシュはセッション単位ではなく同じワークスペース（利用経路によっては組織）単位で分離されており、条件が揃えば別セッション・別ユーザーの呼び出し同士でもキャッシュを共有できます。多数の利用者が同じ製品を通じて同じシステム指示を送るような場面では、この設計がそのまま効きます。
この仕組みが実務でどれだけ神経質に調整されているかを示す一例があります。Anthropic自身が提供する開発者向け製品Claude Codeは、2026年2月から3月にかけて、要求するTTLを1時間から5分へ切り替えるという挙動変化を起こしました。Anthropicのエンジニアが後にGitHub上で認めたところによると、理由は「Claude Codeの呼び出しの多くは一度きりで、キャッシュした文脈を2度目に使う機会が少ないため、割増料金の低い5分キャッシュの方が結果的に安くなる」というものでした。キャッシュの保持時間をどう選ぶかは、提供する側にとっても今なお最適化を続けている変数だということです。
OpenAI ── 「自動・無料・5割引」から「明示・割増・9割引」へ転換
OpenAIは2024年10月の導入時点では対照的な設計でした。1,024トークンを超えるプロンプトには自動的にキャッシュが適用され、書き込みは無料、読み込みは5割引という、緩やかで単純な仕組みです。ところが2026年7月に一般提供が始まったGPT-5.6では、この方式を転換しました。明示的な指定（prompt_cache_breakpoint）を置いて初めてキャッシュ対象になる方式に変わり、書き込みには通常料金の1.25倍──Anthropicの5分TTLとまったく同じ倍率──の割増が加わり、保持時間は選択肢のない固定30分に、そして読み込みの割引率は5割引から9割引まで引き上げられました。旧方式のような「何もしなくても自動的に安くなる」気軽さは失われましたが、割引そのものは大幅に手厚くなっており、実質的にAnthropicが先に敷いた設計に合流した形です。
「何もしなくても自動的に安くなる」気軽さは失われたが、割引そのものは大幅に手厚くなった
OpenAIのキャッシュ仕様転換（2026年7月・GPT-5.6）
Google・DeepSeek ── 標準搭載と、突出した割引率
Google Geminiは、2.5以降のモデルで「暗黙キャッシュ」が標準で有効になっており、利用者側の設定は不要です。公式の料金表から実際に計算すると、Gemini 2.5 Pro・2.5 Flashはともに9割引、旧世代のGemini 2.0 Flashは7割5分引きでした。確実にキャッシュを効かせたい「明示キャッシュ」も用意されていますが、これは従来のgenerateContent APIでのみ使え、新しいInteractions APIでは対応していません。
中国のDeepSeekは、ディスクを使ったキャッシュ方式を2024年8月から提供しており、割引率は今回確認した中で最も大きいものでした。公式価格表から計算すると、V4-Flashはキャッシュ命中時が新規計算時のわずか2.0%（98.0%引き）、上位モデルのV4-Proは0.83%（99.17%引き）という水準です。
キャッシングという技術そのものは目新しいものではありません。ただし2026年に入ってからの動きを見る限り、「各社が同じような設計・同じような割引率に寄っていく」収斂として捉えるのが実態に近いと言えます。
03 · ROUTING, NOW
ルーティングの現在地 ── 資金の動きが分かれている
モデルルーティングは、送られてきた質問の難易度や種類を判定し、簡単な質問は安価で高速なモデルへ、複雑な質問は高価で高性能なモデルへと自動的に振り分ける仕組みです。すべてのリクエストに最も高価なモデルを使う必要がなくなるため、平均コストを下げられます。
クラウド大手の実装 ── AWSの「最大30%」とAzureの複数ベンダー横断
AWSのBedrock Intelligent Prompt Routingは2024年12月にプレビュー、2025年4月に一般提供が始まり、公式の看板の数字は一貫して「最大30%」のコスト削減です（同じモデルファミリー内、たとえばClaude SonnetとHaikuの間でのみ振り分ける設計）。ネット上では「60%台」という数字も見かけますが、これはAWSが看板数字を誇張しているわけではなく、AWSの別の技術解説記事が示す条件付きの実測値です（Anthropicファミリーでの特定シナリオで60%、RAG用途のデータセットで63.6%など、条件によって数字は変わります）。一方で「Novaモデルでゼロコード変更65%削減」という形で広まっている数字は、AWS公式ではなく第三者のブログが発信源で、AWS自身が示すNovaファミリー平均の35%という数字とも食い違っており、鵜呑みにしないほうがよい数字です。MicrosoftのAzure AI Foundryも同種のモデルルーターを提供していますが、こちらはAWSと違い、OpenAI・Anthropic・xAIなど複数ベンダーのモデルをまたいで振り分けられる設計になっている点が特徴です。
OpenAI自身も、2025年8月のGPT-5で「高速な標準モデル」と「時間をかけて考える推論モデル」を会話内容に応じて自動的に切り替えるリアルタイムルーターを導入しました。2026年7月のGPT-5.6では、Sol・Terra・Lunaという3段階のモデル群に再編されています（価格は100万トークンあたりSolが5〜30ドル、Terraが2.50〜15ドル、Lunaが1〜6ドルと明確に分かれています）。ただしこれはGPT-5の自動ルーターがそのまま3方向に拡張されたわけではありません。通常のChatGPTの会話画面では「推論の強さ」という表示の裏でSolが使われる形が中心で、Terra・Lunaは開発者向けAPIやコーディング用途など別の画面でしか選べない、という報道もあります。
オープンソースと商用ゲートウェイ ── RouteLLMと、明暗が分かれた3社
オープンソースの世界では、UC Berkeleyのメンバーを中心に2024年に発表され2025年にICLRで査読を通過した「RouteLLM」が代表格です。発表元のLMSYS（Chatbot Arenaの運営元）は、GPT-4だけを使い続けた場合と比べてMT-Benchで85%・MMLUで45%・GSM8Kで35%程度のコスト削減を、GPT-4相当の品質を95%維持しながら達成したとしています。ただし査読済み論文の詳細な数値を見ると、品質の維持率はベンチマークによって87%〜95%とばらつきがあり、「95%」はあくまで代表的な1つの数字である点には注意が必要です。
商用の「ゲートウェイ」企業の明暗は、より分かりやすい形で表れています。OpenRouterは2026年5月、Google系のグロースファンドCapitalGが主導するシリーズBで1億1300万ドルを調達し、報道されている評価額は13億ドルです。公式ブログによれば、週間のトークン流通量は半年で5兆から25兆へと拡大し、開発者数は800万人を超えたとしています。対照的に、同じくキャッシュ/ルーティングのゲートウェイだったPortkeyは2026年4月末にPalo Alto Networksへの買収が発表され（詳細は次節）、2023年11月にルーティング専業として900万ドルを調達したMartianは、2026年8月時点の自社サイトを見る限りルーティング事業への言及は一切なく、「機械的解釈可能性」の研究組織へと看板を掛け替えています。観測系ツールを提供していたHeliconeも2026年3月、ドキュメント作成企業Mintlifyに買収され、新機能開発を終えた「保守モード」に入りました。
ルーティングという技術そのものへの需要は本物ですが、それを提供する企業の運命は分かれています。
ルーティングという技術そのものへの需要は本物だが、それを提供する企業の運命は分かれている
OpenRouter・Portkey・Martian、3社の対照的な結末
04 · WHERE THEY MERGE
最前線では、キャッシングとルーティングが同じ問題になりつつある
ここまでは「キャッシング」と「ルーティング」を別々の技術として説明してきましたが、推論エンジンの最前線では、この2つが同じ仕組みの中で扱われ始めています。オープンソースの推論エンジンvLLMの周辺プロジェクトに、分かりやすい実例が2つあります。
1つは、vLLMの「Semantic Router」というプロジェクトです。2026年1月に最初の正式版（v0.1「Iris」）、3月に次の版（v0.2「Athena」）が公開されたこのプロジェクトは、質問の意味的な近さ（埋め込みベクトルの類似度）をもとに「どのモデルに振り分けるか」というルーティングの判断と、「過去に似た質問への回答をそのまま使い回せないか」という意味的キャッシュの判断を、同じ仕組みの中で行っています。
もう1つは、姉妹プロジェクトにあたる「vLLM Production Stack」のPrefixCacheAffinityRouterという機能です。複数のサーバーで推論を分散処理している環境で、あるリクエストをどのサーバーに送るかというルーティングの判断そのものを、「そのサーバーに、このリクエストの前半部分（プレフィックス）に対応するキャッシュが既に載っているかどうか」で決めます。ここではルーティングの目的そのものが「キャッシュのヒット率を上げること」になっています。
ユーザーから見れば「モデルを選ぶ話」と「同じ内容を使い回す話」は別物に見えますが、実装する側にとっては、どちらも「限られた計算資源をどう配分するか」という1つの最適化問題です。冒頭で立てた問い──キャッシングとルーティングは別々の技術か──への答えは、「別々に生まれた技術だが、最前線では溶け合いつつある」というのが正確なところです。
「モデルを選ぶ話」と「同じ内容を使い回す話」は別物に見えるが、実装する側にとってはどちらも「限られた計算資源をどう配分するか」という1つの最適化問題だ
vLLM Semantic Router / Production Stackの実装から
05 · FOR INVESTORS
投資家にとって何が意味を持つか
この仕組みを知ることは、直接の売買助言にはなりません。ただし、AIサービスや関連企業を理解するうえでの前提として、押さえておく価値があります。
① 単価の下落は、支出の下落を保証しない
Gartnerは2026年3月の予測で、1兆パラメータ級モデルの推論コストがプロバイダー視点で2030年までに2025年比9割超下がるとする一方、同じ発表の中で「エージェント型のワークロードは1タスクあたり通常のチャットボットの5〜30倍のトークンを消費するため、消費量の増加が単価の下落を上回り、企業側から見た総推論コストはむしろ増加が見込まれる」とも述べています。これは単価の下落を否定するものではなく、「安くなった分、より多く・より複雑に使うようになる」という、AI利用の広がり方そのものについての予測です。AIインフラや半導体への投資判断において、「単価が下がっているから需要も頭打ちになる」という単純化は、この予測に照らすと注意が必要です。
② 節約技術を作った企業が、その価値を独り占めするとは限らない
本記事で見た通り、キャッシングとルーティングという同じ技術領域から出発した企業でも、たどった道はまったく異なります。OpenRouterは中立的な取引の場としての規模を武器に評価額を急拡大させた一方、Portkeyは“コスト削減”という当初の看板ではなく“AIエージェントのセキュリティ・ガバナンス”という別の価値でセキュリティ大手に買収され、Martianはルーティング事業そのものから撤退しました。「コストを下げる技術＝投資価値のある技術」という単純な図式ではなく、その技術が最終的にどの文脈で評価されるかまで見る必要があることを、この3社の対照的な結末は示しています。
③ 「安くする技術」への投資自体は止まっていない
単価の下落と総支出の増加が同時に起きるという構造は、裏を返せば「AIをより安く・より効率的に動かす技術」への投資インセンティブが今後も続くことを意味します。キャッシュ・ルーティングの整備競争、そして両者を統合しようとする推論エンジン側の動きは、AIサービスの実用性がモデル単体の性能だけでなく、こうした周辺の効率化技術によっても左右される段階に入ったことを示しています。
本記事で紹介した数値は、各社が2026年8月時点で公開している情報を基にしたものであり、特定の金融商品や企業への投資を推奨・勧誘するものではありません。
⚠ 留意点
- 生成AIのコスト構造・料金体系は変化が非常に速い分野です。本記事の数値・仕組みは2026年8月6日時点で編集部が一次資料をもとに確認したものであり、各社の料金・仕様は今後変更される可能性があります。
- 割引率や削減率として紹介した数字の一部は、各社が公式に掲げる「看板の数字」です。実際の削減効果は利用パターン（プロンプトの長さ・繰り返し方・質問の難易度分布など）によって大きく変わります。
- OpenRouterの年間経常収益(ARR)や一部の評価額は、各社の自社発表ではなく調査会社・報道機関による推計値です。Portkeyの買収額も両社非公開で、報道による推定値である旨を明記しています。
- GPT-5.6のSol・Terra・Lunaが実際にどの画面でどう選べるかについての記述は、OpenAI公式の一次資料に加え、専門メディアの分析報道も参照しています。
- 本記事は公開情報および当サイト編集部の一次資料確認を基に整理した一般的な情報提供を目的としており、特定の金融商品や企業の購入・利用・投資を推奨・勧誘するものではありません。
FAQ
Q. キャッシングとルーティング、コスト削減効果が大きいのはどちらですか？
単純比較はできません。キャッシュは「同じ内容を繰り返し送る」場面（長いシステムプロンプト、同じドキュメントへの複数質問など）で効き、読み込み価格が9割前後引かれるのが主要各社の共通仕様になっています。ルーティングは「質問の難易度にばらつきがある」場面で効き、AWS公式は同系列モデル間のルーティングで最大30%の削減を掲げています。両者は排他ではなく、実際のシステムでは重ねて使われることが多く、最前線ではこの2つの判断を同じ仕組みで行う実装も登場しています（本文参照）。
Q. 個人や小さな会社がAIサービスを使う場合にも関係がある話ですか？
間接的に関係します。ChatGPTやClaude、Geminiのようなチャット製品を使うだけであれば、キャッシュやルーティングの設定を意識する必要はなく、多くは自動的に適用されます。ただし自社サービスにAPIを組み込んで開発している場合や、AI関連企業を投資対象として見る場合には、本記事で扱った料金体系の変化が実際のコスト構造・事業性に直結します。
Q. なぜOpenAIは無料だったキャッシュの書き込みを有料化したのですか？
公式に理由は説明されていませんが、業界で先行していたAnthropicの「書き込みは割増・読み込みは大幅割引」という設計に、OpenAIが2026年7月のGPT-5.6で合わせた形になっています。エージェント型の利用が広がり長い文脈を繰り返しキャッシュする場面が増えたことで、無料での書き込みを維持するコストが無視できなくなった可能性はありますが、これは推測であり公式説明ではない点にご留意ください。
Q. この記事で紹介した削減率や評価額は、そのまま信じてよいですか？
出典によって確度が異なります。各社が公式ドキュメントやプレスリリースで直接明記している数値（Anthropicの割引率、AWSの「最大30%」、DeepSeekの価格表など）は高い確度で確認できますが、企業評価額や年間経常収益(ARR)の一部は自社発表ではなく調査会社の推計に基づく数値です。本文中でも、確度が異なる数値には出典と合わせて注記を添えています。
本記事は、公開情報および当サイト編集部が2026年8月時点で一次資料に当たって確認した内容を基に整理した一般的な情報提供を目的としており、特定の金融商品やAIサービス・企業の購入・利用・投資を推奨・勧誘するものではありません。AI各社の料金体系・仕様は更新により変化する可能性があります。最終的な判断はご自身の責任で行ってください。
出典：Anthropic・OpenAI・Google・DeepSeek各社公式ドキュメント、AWS・Microsoft公式ブログ、LMSYS/RouteLLM論文（ICLR 2025）、vLLM公式ブログ、OpenRouter・Palo Alto Networks公式発表、Gartner公式プレスリリース、当サイト編集部による一次資料確認（2026年8月6日時点）。