比Jev快50倍,在本地设备上跑的laya-mlx! 只占用最高1G内存
Laya是一个开源的类似于Jev的,基于文本输出概率的分类系统
这个模型能够以每秒决策60次的速度玩贪吃蛇!(当然官方预训练过)
不过看部分使用评论在一些真实测试数据上不如JEV,但速度上有天然优势
对高频决策的生产场景,这种低延迟低资源占用更加有吸引力、不必每次等云端往返,减少了对网络和远程服务的依赖;实时交互、流程路由可以接进去试试
比Jev快50倍,在本地设备上跑的laya-mlx! 只占用最高1G内存
Laya是一个开源的类似于Jev的,基于文本输出概率的分类系统
这个模型能够以每秒决策60次的速度玩贪吃蛇!(当然官方预训练过)
不过看部分使用评论在一些真实测试数据上不如JEV,但速度上有天然优势
对高频决策的生产场景,这种低延迟低资源占用更加有吸引力、不必每次等云端往返,减少了对网络和远程服务的依赖;实时交互、流程路由可以接进去试试