AI - 偏好Local AI和FPGA

中秋节快乐～ 

前段时间按照自己想象和喜好，折腾这，折腾那。AI时代，都不想被甩下，但是从自身来看，自己能做的事情又寥寥无几。AI需要学习的内容很多，新名词层出不穷。感觉现在一两个星期不看，就不需要再看了，因为新的名词又来了。实际上，这些名词背后，还是那么点东西。AI模型更新越来越快，智能提升的难度也相对难一些。随着对Transfermer架构的理解，随着数据的增多，模型越来越多。开源模型也在不停地追赶，追赶的速度也越来越快。还有个趋势，小模型的智能水平越来越高。

                       https://artificialanalysis.ai/

努力实现更聪明的智能肯定是个重要方向，甚至让智能自己进行迭代（RSI）。我觉得，现有的智能水平已经足够做很多事情，如何让这些智能更好地适应所需场景也是一个重要方向。而这个方向有非常多的细分需求，也可能更多依赖工程能力。也许这个方向有更多适合我的机会。在众多看着都不咋靠谱的小方向中，我偏好local AI和FPGA。

PART 01

偏好Local AI

LLM的Cloud服务方便，开销相对小。但是，直觉上来说，感觉远端的强大的LLM智能太富裕了，甚至连基本的语法以及语气词需要经过一大堆的计算，得出下一个是“的”，“地”，“啊”。实在是浪费。话说，对于语义表达，本身有很多可能性。也可能有自己的偏好。 还有很多初级的查询，信息的寻找，根本不需要太高的智商。

我更偏好Local AI。所谓的Local AI，指的是自己可以独享的，无需采用第三方服务的LLM推理系统。Local AI更稳定，不会出现不可控的服务掉线。Local AI不需要考虑数据的隐私问题。Local AI可以更好地定制，也有更好的组合能力。

PART 02

偏好FPGA

从何说起呢。期待小模型越来越智能。但是，在本地搭建个多快好省的小模型的推理引擎还真不容易。目前市面上有些算力芯片，但性能优化的可能性比较小。对于一个新的模型，芯片对应的编译器能编译则能跑，不能编译则不能跑。不太容易做优化或者特定需求，也感觉非常无趣。AI时代，代码实现的难度大大降低，提供稳定的软件中间层不像之前那么刚需。AI时代，idea到最终的产品的迭代周期变短，孕育很多可能性。

个人偏好，从头到尾都是开源的东西。诚然，FPGA，相对来说，计算没那么强，带宽没那么大。但是，FPGA能充分发挥想象力。在有些的资源下，能快速实现某个想法，兼顾计算能力和功耗。这也许就足够了。

自己很讨厌，想了好久不动手。只要成本在可控范围内，可以尽早上手，获得一些真实反馈。接下来，想利用FPGA在AI上能做点小东西，希望能找到点久违的开发快乐。

有对FPGA感兴趣，有对local AI感兴趣的小伙伴，欢迎留言讨论。在深圳/香港，我计划弄一些类似兴趣小组的活动，让志同道合的小伙伴聚在一起。对这些想法感兴趣，或者有更好想法的可以微信交流。