这样能用,也意味着你数据里最有意思的那部分已经离开了这栋楼。这还意味着,连接一断,这个功能就不复存在——对一个会在地下室和山里使用的应用来说,这不是细节。
cronoWiz 走的是另一条路。模型用 WebLLM 加载进浏览器,用 WebGPU 在显卡上执行。权重存在 OPFS 里,能挺过更新,所以那大约 700 MB 是一次性成本,之后引擎几秒钟就能起来。生成发生在设备上:提示词在那里拼装,也在那里被消耗。
关于代价得说准确。这个规模的模型不是前沿模型:它擅长解释你自己的数字,在通用知识上很弱。分给它的正是前一种工作,这也正是一个小的本地模型就够用的原因。
-
浏览器里的 WebLLM
没有原生运行时,不用往返服务器,也不需要 API 密钥。
-
权重存在本地
在 OPFS 里,能挺过更新:只下载一次,而不是每次训练都下。
-
什么时候预热由你决定
应用启动时、训练开始时,或者第一次使用时再懒加载。
-
一个说清楚的上限
一二十亿参数的模型很擅长讲清你的数据,但不是通用助手。
免费。私密。属于你。
没有账号。没有服务器。没有 Cookie。只有你、你的手机,和一个只管自己本分的应用。cronoWiz 是一款完全在你设备上运行的免费 PWA — 你的数据不会出去。永远不会。
大家真正会问的问题
WebGPU 是什么,我有吗?
它是让网页访问显卡的浏览器接口。较新的 Chrome 和 Edge 在桌面端和多数当前的安卓设备上支持;其余情况不一。没有它,教练就不启用,其他什么都不变。
首次加载要多久?
要下载大约 700 MB,所以取决于你的网络。之后引擎通常几秒钟就能回来,而且可以让它在训练开始时预热,等你提问时它已经就绪。
对话会被保存吗?
对话记录留在设备上,如果你做了加密备份,它会一起被带走。模型权重不会:它们可以重新下载,没有理由随身带着。
