はじめに
ローカルAIで長い資料をまとめて扱いたい。そう思ってコンテキストを256Kに広げたものの、以前OllamaでQwen3.8-27Bを使ったときは、待ち時間が長く、普段使いには厳しいと感じていました。
前回はStrataを導入し、Qwen3.8 Flash NextをローカルPCで動かしました。今回はその続きとして、256K設定でどのくらいの長さを扱えるのか、記事作成にも使えるのかを試してみます。
1．先に結論：256K設定で記事作成にも使えた
今回のPCでは、Strataの256K設定で約25万トークンの入力を読み込み、指定した情報を取り出せました。キャッシュなしでの処理時間は約129秒です。また、Qwen Codeから実際のブログ記事の調査と初稿にも利用できました。
短い質問にすぐ答える感覚ではありませんが、これだけの文章をまとめて扱えるなら、私にとっては待てない速度ではありません。もちろん、約25万トークンの検索に成功したことと、長い資料の内容を常に正確に理解できることは別です。記事作成でも、出力の確認と修正は必要でした。
2．試したPCと256Kの設定
今回の検証環境は次のとおりです。2026年10月28日に確認した設定です。
| 項目 | 今回の環境 |
|---|---|
| GPU | GeForce RTX 5060 Ti 16GB ×2 |
| 推論エンジン | Strata、engine 0.1.45 |
| モデル | Qwen3.8 Flash Next、IQ2_XS |
| 最大コンテキスト | 262,144トークン（256K） |
| KVキャッシュ | int8、resident 32,768 |
| GPU割り当て | 2枚を自動分割 |
コンテキストは、AIが一度のやり取りで参照できる文章の範囲です。単位のトークンは文字数と同じではなく、日本語と英語でも数え方が変わります。目安として、Qwen系のトークナイザーでは日本語はおおむね1トークンあたり1.5文字前後と測られた例があります。この比率で単純に換算すると、約25万トークンは日本語で約37万字前後にあたります。ただし、文章の種類やモデルによって変わるため、正確な数字ではありません。256K設定の枠には、資料だけでなく指示や回答の分も含まれます。
起動時にはGPUの空きVRAMが少ないという警告も表示されました。今回試した範囲では応答できましたが、VRAMに余裕が少ない状態であることには注意が必要です。
3．約25万トークンの文章を読み込ませてみた
まず、長い文章を読み込めるかを確かめました。英語の文章を繰り返したテキストの先頭と末尾にそれぞれ異なるコードを置き、両方を回答するよう依頼しています。
| 項目 | 結果 |
|---|---|
| 入力 | 250,852トークン |
| 入力キャッシュ | なし |
| 経過時間 | 129.28秒 |
| 回答 | 先頭・末尾のコードがともに一致 |
約2分で入力の読み込みから回答まで終わりました。今回のテキストは単純な繰り返しで、問題も2つのコードを探すものです。複雑な文書を理解したり、長い文章の途中にある情報を漏れなく扱ったりする能力まで、この結果だけで示せるわけではありません。
設定上の上限262,144トークンぴったりではなく、約25万トークンで試した結果であります！ 読み込みと、先頭・末尾のコードの検索ができたという範囲の実測であります！
4．Qwen Codeで実際の記事を作ってみた
長い文章を読めるだけでなく、実際の作業にも使ってみたいところです。そこで、Qwen Codeから私が別のブログで書いているカクテルのレシピ記事の調査と初稿を担当させました。カクテルの材料や分量、作り方の記録を見ながら、記事の土台を作ってもらう作業です。
レシピの分量や手順は過去の記録と一致した箇所があり、使うお酒の銘柄で確認が必要な点は、AIのほうから質問してきました。文章の土台としては十分使えると感じました。ローカルAIでも記事作成を任せてみる価値はありそうです。
一方で、別のAIによる確認では、記録にない体験を文章に加えた箇所や、計算・情報源の扱いに誤りが見つかりました。文体にも若干の修正が必要でした。完成に向けては別のAIと人（私）の確認や修正を行っているため、記事全体がQwenだけで完成したわけではありません。
文章の土台を作ってくれるのはうれしいね！ 内容を確かめながら使いたいな。
5．コンパクションはどうなった？
Qwen Codeでは、会話が長くなると、それまでの内容を要約してコンテキストを空ける「コンパクション」が行われます。長く作業を続けるうえで便利な仕組みですが、要約によって元の細かな情報が残らない場合もあります。
今回、256K設定の実作業履歴を2つ確認すると、ブログ調査の会話では最大176,254トークンの入力記録までコンパクションは0回でした。別のブログ制作会話では1回記録されており、そのときの記録は196,543トークンから35,014トークンへの圧縮です。
どちらもIQ2_XSの256K設定で使った会話ですが、作業内容は同じではありません。256Kに広げると、コンパクションが起きる頻度が減ることも利点の一つだと考えています。多くの文脈を使えることの副次効果ですね。ただし、起きなくなるわけではありません。今回確認した2例は、0回と1回でした。
6．速度と使い勝手をどう感じたか
以前、OllamaとQwen3.8-27Bを256Kで使ったときは、長い処理の待ち時間が気になり、実用には厳しいと感じました。今回のStrataは、長い入力に時間はかかるものの、私の使い方では試し続けられる速度です。
ただし、以前と今回はモデルや処理する内容が異なります。体感としては、以前より速くなったと感じています。なお、数字で確認できたのは、今回の条件で約25万トークンを読み込んだ約129秒です。
ローカルで長い資料を扱いたい人には、Strataは試してみる価値がありそうです。一方で、GPUのVRAMには余裕が必要で、長文の読み込みにも待ち時間はあります。文章の内容は、使う人が確認する前提で考えたいところです。
おわりに
今回は、自分のPCでStrataの256K設定が動くことを確認できました。約25万トークンの合成入力は約2分で処理でき、Qwen Codeからのブログ記事作成にも使えています。
長い入力を扱えるようになると、調べた資料や作業の流れを残しながら続けられる場面が増えそうです。速度や出力の確認には気を配りつつ、今後も実際の作業で使ってみたいと思います。
それでは、良きホビーライフを！
コメント