站长之家(ChinaZ.com)4月23日 消息:近日,微软推出了一款名为Phi-3系列的小型AI模型,该模型在AI领域引起了广泛关注。Phi-3系列中的Phi-3-mini模型,仅拥有3.8B参数,却在多项基准测试中超越了拥有8B参数的Llama3模型。
微软特别强调,经过4bit量化处理的Phi-3-mini能够在iPhone14Pro和iPhone15使用的苹果A16芯片上实现每秒12token的运行速度,这标志着手机上能本地运行的最佳开源模型已经达到了ChatGPT的水平。
微软在技术报告中展示了Phi-3系列的多项优势。除了Phi-3-mini之外,还有Phi-3-small和Phi-3-medium两个版本,分别拥有7B和14B参数。Phi-3-small支持多语言,并使用了tiktoken分词器以及增加了10%多语种数据。而Phi-3-medium在更多数据上进行了训练,已在多数测试中超越了GPT-3.5和Mixtral8x7b MoE。
Phi-3系列的成功得益于其独特的训练方法。微软团队发现,仅仅增加参数量并不是提升模型性能的唯一途径。他们通过精心设计训练数据,特别是利用大型语言模型生成合成数据,并结合严格筛选的高质量数据,显著提升了中小模型的性能。Phi-3系列的训练数据量巨大,其中Phi-3-medium使用了高达4.8万亿token的数据,并通过独特的指令微调和RLHF训练,提高了模型的对话能力和安全性。
尽管如此,小型模型在存储事实和知识方面仍有局限,这从TriviaQA测试的低分中可见一斑。微软提出,通过联网接入搜索引擎可以缓解这一问题。微软研究院团队表示,他们将继续沿着小模型和数据工程的道路前进,并计划增强小模型的多语言能力和安全性。
微软的这一举措在开源社区中引起了热烈讨论,许多网友认为这给OpenAI带来了压力,需要OpenAI尽快推出GPT-3.5的后继产品以维持其在AI领域的领先地位。
论文地址:https://arxiv.org/pdf/2404.14219.pdf