ポジションペーパー

token は新しい金貨です。
無駄にするのをやめましょう。

情報密度 - コンテキストサイズではなく - が AI コーディングのパフォーマンスを決定する理由についてのポジションペーパー。LeanCTX チーム、2026 年 3 月。

7 セクション / 5 設計原則 / 7 アーキテクチャレイヤー

概要

LLM でのハイパフォーマンスは、より大きなコンテキストウィンドウではなく、token あたりの情報エントロピーを最大化することです。LeanCTX は、すべての token が最大のシグナルを伝達することを保証するインテリジェンスバッファです。

2026 年、AI コーディングツールは完全なファイル、生の CLI 出力、非圧縮のプロジェクトスキャンを毎回コンテキストウィンドウに送信しています。信号対ノイズ比は極めて低い状態です。マルチステップコーディングセッションのツール呼び出し分析に基づくと、ファイル読み取りの約 65% が再読み取りです。モデルは情報エントロピーがゼロの定型文にアテンションを浪費しています。

本稿は、インテリジェンスレイヤー - 開発者と LLM の間の透過的な圧縮レイヤー - が AI エンジニアリングスタックに欠けているピースであると主張します。LeanCTX を紹介します:モデルが正しく推論するために必要なすべての情報を保持しながら、1 操作あたり最大 99% の token 削減(cache 再読み込み時)を達成する単一の Rust バイナリです。


1. 課題

数百万tokenのコンテキストウィンドウと数百ステップに及ぶ推論チェーンを持つモデルがあります。それにもかかわらず、ほとんどのAIコーディングツールは読み取りのたびにファイル全体を送信しています。これは、1ページを求められるたびに図書館全体を送るようなものです。

その結果:注意力の希薄化、計算リソースの浪費、そして本当に重要なロジックノードへの集中力の喪失。冗長なtokenはすべて、アテンションメカニズム内で実際のシグナルと競合し、モデルの推論を分析すべきコードパスから逸らしてしまいます。

~65%

のファイル読み取りが再読み取り

マルチステップコーディングセッションにおけるツールコールパターンに基づく

$20–200

月額AIツール利用料

すべてのAIツールにはハードリミットがあります。1日500リクエスト。5時間で45メッセージ。月1,500プレミアムリクエスト。tokenは新しいゴールドですが、ほとんどのツールは情報エントロピーゼロのボイラープレートにそれを浪費しています。

問題はモデルではありません。入力にあります。


2. 情報密度

定型文で埋め尽くされた 200K token のコンテキストは、10K token の純粋なシグナルよりも悪い結果を生みます。これは推測ではなく、アテンションメカニズムの仕組みそのものです。除去されたノイズの 1 バイトは、獲得された推論能力の 1 バイトです。

情報エントロピー - token あたりのビット数で測定 - がモデルの推論精度を決定します。高エントロピー token は判断、分岐ロジック、API コントラクト、エラー処理を伝達します。低エントロピー token は空白、定型文、反復的なインポート、冗長な CLI フォーマットを伝達します。

10K tokens that outperform 200K.

すべてのインテリジェンスレイヤーインタラクションの目標。

典型的なファイルの再読み取りを考えてみてください。モデルはファイル構造、エクスポート、型をすでに知っています。13 token の cache 確認で十分なのに 3,500 token のフルソースコードを送信するのは、コンテキスト容量の 99.6% の無駄です。

CLI 出力にも同じロジックが当てはまります。npm install は資金援助通知、非推奨警告、フォーマットで 800 以上の token を生成します。情報の内容は?パッケージ名、バージョン、依存関係数、タイミングの 1 行だけです。


3. 効率の乗数効果

cache 付きリードとシェルフックの組み合わせで達成可能な平均 80% の圧縮率では、コストの 80% を節約するのではなく、容量を 5 倍に拡大します。同じ予算、同じサブスクリプションで、5 倍の生産的な出力。

5x

実効容量

80%

token 消費削減

cache + シェルフック使用時の一般的なセッション平均

これはコスト削減だけの話ではありません - もちろんそれも実現しますが。すべてのインタラクションを有意義にすることです。コンテキストウィンドウのリセットなしにより長いセッション。ノイズに気を取られないためのより深い推論。関連コードが実際にアテンションウィンドウにあるため、失敗する補完が減少。

コストカーブはリニアから対数的にシフトします。ノイズであれば追加 token ごとに収穫逓減ですが、シグナルであれば収穫逓増です。


4. アーキテクチャ:インテリジェンスレイヤー

LeanCTX はインテリジェンスレイヤーを 4 つの合成可能なレイヤーとして実装しています。各レイヤーは独立して動作しますが、組み合わせることで効果が累積されます。

1

圧縮レイヤー 実装済み

tree-sitter(18 言語対応)による AST ベースのシグネチャ、cache 済みファイルのデルタロード、MD5 トラッキング付きセッション cache、Shannon 分析によるエントロピーフィルタリング。骨格を送信し、肉付けは送信しません。再読み込みは数千 token ではなく 13 token です。

2

セマンティックルーター 実装済み

10 read modes + 行範囲指定で、タスクごとに適切な精度を選択できます。map モードで理解、full モードで編集、signatures で API サーフェス、entropy でノイズフィルタリング。

3

コンテキストマネージャー 実装済み

自動 TTL 付きセッション cache(5 分アイドルでクリア)、ctx_compress によるコンテキストチェックポイント、fresh=true によるサブエージェント分離。モデルは完全な履歴ではなく、常に最新の状態を参照します。

4

品質ガードレール 基盤

焦点を絞った高エントロピー入力は、より鋭い推論を意味します。アテンションウィンドウのノイズが少ない = ロジックノードへのアテンションが増える = より良いコード出力。これは他のすべてのレイヤーが連携して動作することで生まれる創発的な効果です。

5

Security Layer

PathJail sandboxing at the resolve_path chokepoint, bounded shell capture (200KB cap), TOCTOU-safe file edits, and memory output neutralization. Defense-in-depth against prompt injection attacks.

6

Build Integrity

Compile-time integrity seed embedded in the binary. Hash verification detects tampering. Checked automatically by lean-ctx doctor and reported in --version output.

7

Reciprocal Rank Fusion

Cache eviction uses RRF to fuse incomparable signals (recency, frequency, size) without weight tuning. Standard information retrieval technique (K=60) that produces monotonically correct rankings.

アーキテクチャはハイブリッドです:エディタの組み込み機能を置き換える 58 個のインテリジェントツールを持つコンテキストサーバー(ファイル読み取り、ディレクトリ一覧、コード検索、意図検出、プロジェクトグラフ)と、ワークフローを変更せずに 34 カテゴリ 95 以上の CLI パターンを圧縮する透過的シェルフックで構成されています。


5. パラダイムシフト

旧来のパラダイムはすべてを送信します。新しいパラダイムはシグナルのみを送信します。Intelligence Layerを導入すると、以下が変わります:

項目 導入前 導入後
送信データファイル全体、生ログASTシグネチャ、差分
再読み取り毎回ファイル全体13 token(cache済み)
CLI出力非圧縮、冗長パターン圧縮(95以上)
レイテンシ高(大きなペイロード)低(コンパクトなペイロード)
推論ノイズに分散ロジックノードに集中
コスト曲線線形対数的
セッション長すぐに消費5倍の持続時間

重要なのは、これは情報を減らすことではないということです。重要なものだけを見せることです。モデルは同じ論理情報 - 関数シグネチャ、依存関係、変更行、エラーメッセージ - を受け取りますが、推論を希薄化するノイズがありません。


6. 設計原則

5つの原則がLeanCTXのすべての設計判断を導きます:

ロスレス圧縮であり、ロッシー切り捨てではない

すべての圧縮はモデルに必要な情報を保持します。AST シグネチャは関数コントラクトをそのまま維持します。Diff モードは変更された箇所を正確に表示します。フィルターは重要なものを決して削除しません - すべての圧縮はセマンティックレベルで完全に復元可能です。

魔法よりも透明性

すべてのツールが token 数を報告します。ctx_benchmark は tiktoken(o200k_base)で正確な削減量を測定します。ctx_metrics は累計統計を追跡します。lean-ctx gain は USD コスト見積もり付きの累計削減量を表示します。何が起きているか常に把握できます。

クラウド依存ゼロ

単一の Rust バイナリ。API キー、アカウント、テレメトリ、データ収集は一切不要。コードがあなたのマシンを離れることはありません。Apache-2.0 ライセンス、完全オープンソース。macOS、Linux、Windows でネイティブバイナリとして動作。

合成可能であり、モノリシックではない

各 1 つのことを的確にこなす 58 個のインテリジェントツール。ファイルには ctx_read、CLI には ctx_shell、チェックポイントには ctx_compress を使用。ワークフローに合わせて自由に組み合わせ可能。Cursor、GitHub Copilot、Claude Code、Windsurf、Crush、Codex などで動作。

推定ではなく、計測で

すべての token 数は tiktoken の o200k_base エンコーディング - モデルが使用するのと同じトークナイザー - を使用しています。近似値やヒューリスティックは使用しません。永続的な累計統計による USD コスト追跡。ctx_analyzectx_benchmark によるデータ駆動型モード選択。


7. 結論

token 制限、リクエストクォータ、コンテキストウィンドウサイズが 2026 年の AI コーディングランドスケープを規定しています。前進の道はより大きなコンテキストウィンドウではなく、すべての token が最大の情報エントロピーを伝達するようにすることです。

LeanCTX は人間の思考のロスレスミニファイヤです。モデルの視野を狭めるのではなく、重要なものだけを見せます:関数シグネチャ、変更された行、エラーコード、依存関係グラフ - 推論を薄めるノイズを除去して。

10K token の純粋なシグナル。それが AI エンジニアリングの未来です。

単一の Rust バイナリ。クラウド依存なし。Apache-2.0 ライセンス。 60 秒で始めましょう。