机器学习
jar 标签描述

1文件+2个命令,无需安装,单机离线运行70亿大模型 大家好,我是老章 最近苹果发布了自己的深度学习框架--MLX,专门为自家M系列芯片优化。看了展示视频,这个框架还能直接运行Llama7B的大模型,在M2Ultral上运行流畅。但是我尝试了一下,我的M2Macmini根本跑不动,模型权重太大了。 这倒勾起了我继续单机玩大模型的兴趣,然后就发现了llamafile的玩法:下载模型文件、直接执行即可浏览器中运行,就可以开始聊天,还可以上传图片进行提问。 先不介绍原理,直接看看如何运行吧: 1、下载llava-v1.5-7b-q4-server.llama文件(对应模型是LLaVA1.5,在Lla...

  IoX2lKgjqPfp   2023年12月09日   10   0   0 githubjar权重权重githubjar