轻量模型与批量处理

从哪里开始
受资源限制的模型任务或大批量数据。
最后要交什么
在指定部署与成本约束下达到要求的结果。
容易卡在哪里
模型规模、计算资源、吞吐、领域深度和数据质量。
怎样检查
不要把云端多次调用的方法无条件迁移到资源受限场景。

相关讨论

原话依据
kyrie_H ·
是不太可能允许做这种大斧头砍牙签的事情的
原话 20
kyrie_H ·
所以我觉得还是要看是落地场景
原话 21
kyrie_H ·
还是云端场景了
原话 22
XG ·
拿小模型处理百万数据
原话 24

加入观澜

观澜群邀请卡,微信扫码加入,有效期为 2026 年 10 月 1 日前

原图注明 10 月 1 日前有效;能否入群以微信提示为准。