诶，大伙有没有发现，这两年的科技趋势，和以往几年都不大相同。

AI大模型，成为了科技圈的香饽饽。

用户需求的日益增长，推动了AI技术的进化。随着大语言模型的应用场景日益增多，它们开始在我们的生活中扮演着越来越重要的角色。

尤其是休闲娱乐和实际工作中，大语言模型的应用变得越来越普遍。这些模型以其自然的语义能力、强大的数据处理能力和复杂任务的执行效率，为用户提供了前所未有的便利，甚至是以往人们不敢想象的数字陪伴感。

不过，随着大语言模型的高速普及下，云端大模型的局限性逐渐显现出来。

连接缓慢，成本高昂，还有成为热议话题的数据隐私问题，没有人可以轻易忽视。最重要的是，基于各种制度和伦理道德的云端审核制度，进一步限制了大语言模型的自由。

本地部署，似乎为我们指引了一条新的道路。

随着本地大模型的呼声越来越高，今年Github和Huggingface上涌现出不少相关的项目。在多番研究后，我也顺藤摸瓜，拿到了本地部署大模型的简单方法。

So，本地部署对我们的AI体验来说，到底是锦上添花，还是史诗级增强？

跟着小雷的脚步，一起来盘盘。

开始前，先说点闲话。

就是咋说呢，可能有些读者还是没懂「本地大模型」的意思，也不知道这有啥意义。

总而言之，言而总之。

现阶段比较火的大模型应用，例如国外的ChatGPT、Midjourney等，还有国内的文心一言、科大讯飞、KIWI这些，基本都是依赖云端服务器实现各种服务的AI应用。

（图源：文心一言）

它们可以实时更新数据，和搜索引擎联动整合，不用占用自家电脑资源，把运算过程和负载全部都放在远端的服务器上，自己只要享受得到的结果就可以了。

换句话说，有网，它确实很牛逼。

可一旦断网，这些依赖云端的AI服务只能在键盘上敲出「GG」。

作为对比，本地大模型，自然是主打在设备本地实现AI智能化。

除了不用担心服务器崩掉带来的问题，还更有利于保护用户的隐私。