1文件+2个命令，无需安装，单机离线运行70亿大模型 大家好，我是老章 最近苹果发布了自己的深度学习框架--MLX，专门为自家M系列芯片优化。看了展示视频，这个框架还能直接运行Llama7B的大模型，在M2Ultral上运行流畅。但是我尝试了一下，我的M2Macmini根本跑不动，模型权重太大了。 这倒勾起了我继续单机玩大模型的兴趣，然后就发现了llamafile的玩法：下载模型文件、直接执行即可浏览器中运行，就可以开始聊天，还可以上传图片进行提问。 先不介绍原理，直接看看如何运行吧： 1、下载llava-v1.5-7b-q4-server.llama文件（对应模型是LLaVA1.5，在Lla...