작동하기는 합니다. 그리고 당신 데이터에서 가장 흥미로운 부분이 건물을 떠났다는 뜻이기도 합니다. 또한 연결이 끊기는 순간 그 기능이 존재하지 않게 된다는 뜻이기도 한데, 지하실과 산속에서 쓰이는 앱에게 이것은 사소한 문제가 아닙니다.
cronoWiz는 다른 길을 택합니다. 모델은 WebLLM으로 브라우저에 올라가고 WebGPU로 GPU에서 실행됩니다. 가중치는 OPFS에 놓여 업데이트를 넘어 살아남으므로 약 700MB는 한 번의 비용이고, 이후 엔진은 몇 초 만에 돌아옵니다. 생성은 기기에서 일어납니다. 프롬프트는 거기서 조립되고 거기서 소비됩니다.
맞바꾼 것에 대해서는 정확히 말해야 합니다. 이 크기의 모델은 최전선 모델이 아닙니다. 당신 자신의 숫자를 설명하는 데는 능하고 일반 지식에는 약합니다. 맡긴 일이 바로 앞쪽이고, 그래서 작은 로컬 모델로 충분합니다.
-
브라우저 안의 WebLLM
네이티브 런타임도, 서버 왕복도, API 키도 없습니다.
-
가중치는 로컬에 보관
OPFS에 놓여 업데이트를 넘깁니다. 세션마다가 아니라 한 번만 내려받습니다.
-
예열 시점은 당신이 고른다
앱을 열 때, 세션을 시작할 때, 또는 처음 쓸 때 느긋하게.
-
한계를 정직하게 밝힌다
10~20억 매개변수 모델은 당신 데이터를 잘 설명하지만 범용 비서는 아닙니다.
무료. 사적. 당신의 것.
계정 없음. 서버 없음. 쿠키 없음. 당신과 당신의 휴대폰, 그리고 제 할 일만 하는 앱뿐입니다. cronoWiz는 기기 안에서 전부 돌아가는 무료 PWA입니다 — 데이터는 밖으로 나가지 않습니다. 한 번도.
실제로 많이 받는 질문
WebGPU가 무엇이고 제 기기에 있나요?
페이지에서 GPU에 접근하게 해 주는 브라우저 API입니다. 최근 Chrome과 Edge는 데스크톱과 대부분의 최신 안드로이드에서 지원하고, 그 밖은 제각각입니다. 없으면 코치가 켜지지 않을 뿐 다른 것은 달라지지 않습니다.
처음 불러오는 데 얼마나 걸리나요?
내려받는 양이 약 700MB라 회선에 달렸습니다. 이후 엔진은 대개 몇 초 만에 돌아오고, 세션을 시작할 때 예열해 두면 질문할 즈음에는 준비가 끝나 있습니다.
대화는 저장되나요?
대화 기록은 기기에 남고, 암호화 백업을 만들면 그 안에 담겨 함께 갑니다. 모델 가중치는 담기지 않습니다. 다시 내려받을 수 있으니 들고 다닐 이유가 없습니다.