AIに対する指示には二種類ある。一つは「この文章を要約して」「このコードをレビューして」のように、具体的なタスク内容を直接指定するもの。もう一つは「最新情報を調べて適用せよ」「ステップバイステップで考えろ」「専門家として振る舞え」のように、思考の仕方や情報取得の戦略そのものを指定するものがある。後者をここではメタ指示と呼ぶ。
メタ指示の利点は明白だ。汎用性が高く、どんなクエリに対しても底上げの効果を期待できる。特に「調べて適用せよ」系のメタ指示は、LLMの知識カットオフという構造的欠陥を補うために広く使われている。モデルが訓練時に学習していない最新情報を、検索ツールやweb fetchを通じてリアルタイムに取得し、その場で解釈して回答に組み込む。これは一見、理想的な補完メカニズムに見える。
しかし、このメカニズムが機能するためには、一つの大きな前提が存在する。情報取得ツールが完全であり、検索結果が信頼できるものであるという前提だ。
現実はこの前提を満たしていない。
検索エンジンのインデックスは、AI生成コンテンツやSEO最適化された低品質ページにより深刻に汚染されている。これは従来のキーワード詰め込み型スパムとは異なり、AIを使って量産された、一見正当に見えるコンテンツが上位を占める。LLMは「ソースに書いてあるから正しい」と判断しやすく、本質的な真偽検証が苦手なため、汚染された上位結果を拾い上げて「見つかったふり」をし、不正確な適用を行うリスクが高い。
さらに、検索インデックスの盲点は多い。新規に公開されたばかりのページ、ログイン壁やペイウォールの向こう側にあるコンテンツ、動的に生成されるページ、ニッチなフォーラムやSNS上のネストした引用構造は、クロールの遅延やAPIの制限により到達困難である。特にSNSの引用リポスト、リプライ連鎖、スレッドの枝分かれを再帰的に追うことは、レートリミットとコンテキスト長の制約、そして逐次生成モデルの再帰処理の苦手性により、途中で打ち切られやすい。
つまり、「調べて適用せよ」と命じても、AIは実際には完全な調査ができておらず、見つからなかったことを正しく認識せず、ハルシネーションで埋め合わせることがある。
この問題は、情報取得の技術的限界だけでは説明しきれない。LLMの知識が、いつ学習されたかによって定着の質が根本的に異なることに起因する部分も大きい。
訓練データ期間内（pre-cutoff）の知識は、多epochの勾配更新を通じ、ネストした関係性がほどけて再構成される。同じ事実が多様な文脈で何度も出現し、因果・類似・階層といった構造が意味空間上でコンパクトかつロバストな内部表現として定着する。これを知識の熟成と呼ぶ。
対して、カットオフ後（post-cutoff）の知識は、検索→fetch→コンテキストウィンドウへの注入→1回のforward passという、一種の文章読解エンジンとして処理される。訓練時のような多epochでの再構成プロセスがないため、ネストした関係は「ほどけず」、表層的な統計的相関としてしか扱われない。
この質の差は、メタ指示の信頼性を根本から揺るがす。pre-cutoffの熟成済み知識を起点にすれば、一般化や特殊化が比較的スムーズに働く。しかしpost-cutoffの情報は、深い統合や個人の固有文脈への正確な投影が極めて困難である。メタ指示で「最新情報を調べて適用せよ」と言っても、取得した情報は「その場で読解される」に過ぎず、モデルの内部に定着した理解として機能しない。
一般論としてのメタ指示は、統計的に頻出するパターンを想起させるため、万人向けには機能しやすい。しかし、個人の固有文脈に特殊化したアドバイスを生成するには、まずユーザーの状況を正確に抽出・モデル化する必要がある。
ここで二つの困難が生じる。一つは、ユーザー自身が自分の状況を正確に記述できるかという問題。自己報告にはバイアスがかかり、暗黙知や価値観は言語化が困難である。もう一つは、LLMがその記述から正確なモデルを構築できるかという問題。LLMは意味空間上の近傍探索に長じるが、実世界の主観的・多次元的な状況を客観的に観測することは原理的に困難だ。
物理空間（ロボティクスなど）では、センサーデータによる強いgroundingがあるため、状況抽出は相対的に容易である。一方、意味空間（キャリア、学習戦略、意思決定）では、状態そのものが曖昧で、自己認識の歪みがAIにそのまま吸収される。メタ指示で「自分の状況に合わせて特殊化せよ」と命じても、状況抽出の精度が低いまま特殊化しても「ゴミイン・ゴミアウト」になるだけである。
個人ネスト関係の内部化を目指す際、いくつかの技術的アプローチが考えられる。しかし、それぞれに明確なトレードオフがある。
継続学習（Continued Pre-trainingやFine-Tuning）は、手元の高品質データセットでモデルを更新し、個人のネスト関係を内部化するアプローチだ。しかし、pre-trainingレベルの深い熟成には届きにくく、Catastrophic Forgetting（破滅的忘却）という根本的な問題がある。新しい知識を学ばせると、既存の一般能力が劣化する。
LoRA（Low-Rank Adaptation）のようなパラメータ効率的手法は、パラメータ更新を最小限に抑えつつ適応させる。forgettingも相対的に少ないが、低ランク制約のため複雑なネスト関係の深い再構成には限界がある。さらに、継続学習で新しいタスクを重ねると、intruder dimensions（新しい高ランク特異ベクトル）が蓄積し、旧知識への干渉を引き起こす問題も明らかになっている。これを回避する新手法として、feature spaceでの適応を行うVeFAなどの研究も進んでいる。
Memory Layersは、TransformerのFFNを置き換え、Product Keysによる大規模キー・バリュープールをスパースに参照する構造だ。Sparse Memory Finetuningでは、新データに特有のスロットを極めて限定して更新することで、forgettingを劇的に抑制できる。しかし、大規模メモリの並列シャーディングや構築コストは、個人開発者にとって高いハードルとなる。
蒸留（Distillation）は、大きなモデル（teacher）から小さなモデル（student）へ知識を移転する手法だ。Chain-of-Thoughtや推論過程を含めた移転は効果的で、オープンウェイトモデルをベースにした個人開発において現実的なアプローチとなる。しかし、容量の差による情報損失は避けられない。
これらを踏まえると、普通の開発者にとって最もバランスの取れたアプローチは、モデル自体にすべてを焼き込むのではなく、LLMを「読解・統合・推論エンジン」として割り切り、探索・取得・検証の仕組みをツールとして提供する広義RAG（Retrieval-Augmented Generation）である。
フルAgentフレームワーク（LangGraphなど）は、多くのケースで大げさだ。Advanced Naive RAG、すなわちSemantic Chunkingによる適切な文書分割、Hybrid Search（ベクトル検索＋キーワード検索）、Rerankerによる再ランク付け、そして軽い再帰的取得（Recursive Retrieval）を組み合わせるだけで、十分なケースが多い。
未知のものに対する調査（exploratory research）と既知のものに対する確認（personal knowledge grounding）では戦略が異なる。
未知の調査では、iterative search（反復検索）とclean fetch（クリーンなテキスト取得）が核心となる。FirecrawlやJina Readerなどのツールを使い、webページをMarkdownに変換して構造を保ちつつトークンを削減する。ファイル探索（DFS/BFS + pruning）のアナロジーで、LLMに「ここで止めるか」「次に何を調べるか」を判断させることは自然な発想だが、毎ステップでLLMを呼ぶとトークンが爆発するため、非LLM手法（TF-IDF、TextRank、構造ベースヒューリスティック）による事前pruning（枝刈り）とコンテキスト圧縮が必須となる。最大深さや最大ページ数、トークン予算といったハード制限を設けることも重要だ。
既知の確認では、個人のノートやドキュメントをベクトルDBに格納し、高精度なretrievalを行う。GraphRAGは多ホップ関係性に強いが構築コストが高く、個人規模ではLightRAGのような軽量版が現実的な選択肢となる。
メタ指示、特に「最新情報を調べて適用せよ」という指示は、現時点では「便利なハック」として機能する。一般領域ではこれを使わないと性能面で不利になりやすい。しかし、その機能は情報取得ツールの完全性という脆弱な前提に立っており、検索インデックスの汚染、SNSネストの再帰到達不能性、post-cutoff知識の浅い定着、個人状況抽出の困難性など、多くの構造的限界を内包している。
現状で付き合う最善の方法は、メタ指示を「入口の改善」として使いつつ、最終的な信頼性はツール側の探索戦略と人間の検証に委ねることだ。モデルに深く焼き込む理想は、特定ドメインで本格的な継続学習が必要になった時点で後から検討すれば十分。今は、適切なテキストを効率的に取得し、LLMを読解エンジンとして活用する広義RAGの構築に注力するのが、最もコスパが良くロバストな現実解である。
元ネタ
https://x.com/podhmo/status/2055171683280175250?s=20