それは機能しますし、同時にあなたのデータの一番おもしろい部分が建物の外に出たということでもあります。さらに、接続が切れた瞬間にその機能は存在しなくなります。地下や山の中で使われるアプリにとって、これは些細な話ではありません。
cronoWiz は別の道を取ります。モデルは WebLLM でブラウザに読み込まれ、WebGPU で GPU 上で実行されます。重みは OPFS に置かれて更新をまたいで残るので、およそ700MB は一度きりのコストで、以降エンジンは数秒で戻ってきます。生成は端末上で起こります。プロンプトはそこで組み立てられ、そこで消費されます。
引き換えについては正確に言うべきです。この規模のモデルは最先端ではありません。あなた自身の数値を説明するのは得意で、一般知識は弱い。与えられた仕事はまさに前者であり、だからこそ小さなローカルモデルで足ります。
-
ブラウザ内の WebLLM
ネイティブのランタイムも、サーバーへの往復も、API キーもありません。
-
重みはローカルに保持
OPFS に置かれ更新をまたぎます。セッションごとではなく、一度だけのダウンロードです。
-
暖機のタイミングを選べる
アプリ起動時、セッション開始時、あるいは最初に使うときに遅延して。
-
限界を正直に述べる
10〜20億パラメータのモデルはあなたのデータの説明には強く、汎用アシスタントではありません。
無料。プライベート。あなたのもの。
アカウントなし。サーバーなし。Cookie なし。あるのはあなたとスマホ、そして自分の仕事だけをするアプリ。cronoWiz は端末内で完結して動く無料の PWA です — データは外に出ません。一度も。
実際によく聞かれること
WebGPU とは何で、自分の端末にありますか。
ページから GPU にアクセスするためのブラウザ API です。最近の Chrome と Edge はデスクトップと多くの現行 Android で対応しています。それ以外はまちまちです。なければコーチが有効にならないだけで、他は何も変わりません。
最初の読み込みにどれくらいかかりますか。
ダウンロードは約700MBなので、回線次第です。以降、エンジンはたいてい数秒で戻り、セッション開始時に暖機させておけば、質問する頃には準備が整っています。
会話は保存されますか。
履歴は端末に残り、暗号化バックアップを作ればその中に入って移動します。モデルの重みは入りません。再ダウンロードできるので、持ち歩く理由がないからです。