最新文章
-
4 bit模型为何不等于显存缩小四倍?量化账单这样算2026/09/18
看到“4 bit模型”,很多人会把原模型显存直接除以四。通俗答案是:4 bit通常只压缩权重,运行时还要装比例因子、缓存和临时张量。读完你会算出模型权重的理论下限、分组量化开销,并知道为什么能下载不等于能顺利推理。
-
Agent Memory 架构设计:短时记忆、长期记忆与 Memory 生命周期2026/09/18
Agent Memory 架构设计:短时记忆、长期记忆与 Memory 生命周期 作 者:吴佳浩(Alben) 公众号:全栈架构师笔记 系列专栏:《企业级 Agent Memory 实战指南》· 第
-
为什么 Agent 需要 Memory?Memory 和 RAG 到底有什么区别?2026/09/18
为什么 Agent 需要 Memory?Memory 和 RAG 到底有什么区别? 作 者:吴佳浩(Alben) 系列专栏:《企业级 Agent Memory 实战指南》· 第 01 篇 在企业落地
-
Expert Parallel 深入解析:专家分得均匀,负载为什么仍不均2026/09/18
Expert Parallel 深入解析:专家分得均匀,负载为什么仍不均 TL;DR 场景:四张 GPU、每张两个专家,权重占用接近。配置表均衡,执行时可能只有一张卡接下超过一半的专家任务,其他卡先算
-
发布 3 天登顶 HN:不生成一个字的模型 Jev,我把它的源码和黑料都扒了一遍2026/09/18
上周五(9.15),一家叫 TypeSafe AI 的公司在 HN 上发了篇博客,一天冲到 1863 分、491 条评论。主角是个叫 Jev 的模型,卖点听起来很离谱: 不生成文本。只输出"选择 +
-
RK3588 使用 rk-llama.cpp + RKNPU2 部署 Qwen3.5:从零开始的 NPU 本地大模型实战2026/09/18
一块 8GB 的 RK3588 开发板,可以把 Qwen3.5-2B 做成局域网里的模型服务:浏览器直接聊天,程序通过 `/v1/chat/completions` 调用,部分计算交给板载 NPU。
-
Swift 进阶&封装:仿 Get 给SwiftUI 添加路由导航能力2026/09/18
一、需求来源 「开发多 Tab 的 SwiftUI 应用时遇到一个痛点:跳转到下一页、等用户操作完、再拿回结果——这条最简单的链路,官方 API 表达不了。」 NavigationStack 的 pa
-
Spring AI 2.0 RAG 工程优化:从 Chunking、混合检索到 Rerank2026/09/18
RAG 的核心目标可以概括成一句话:在模型回答之前,把当前问题真正需要的证据找出来,并以尽量少的噪声送入 Context。 因此,一个真正的 RAG 系统远比“连接一个向量数据库”复杂。完整过程通常经
-
Agent 要用 API key,但明文一次都不能进模型——Secret Runtime 落地实录(第110篇)2026/09/18
先交代真实状态。这套东西的计划文档头部写着一行状态: 今天我在仓库里实跑了它的三层测试:领域层 Secret Reference 解析的拒绝矩阵——42 种"看起来差不多"的变体全部被拒(大写 sch
-
Flutter: MediaQuery.of(context) 为什么可能拖慢页面?2026/09/18
MediaQuery.of(context) 为什么可能拖慢页面,以及该用什么替代。 打开聊天页面,点一下输入框,键盘从底部滑出来。看上去挺顺畅,对吧?结果测试同事提了个问题:“键盘弹出时聊天列表会卡