零一万物发布首个大模型Yi-34B，李开复称可处理200K上下文窗口

11月6日消息，界面新闻获悉，成立仅5个月后，李开复的大模型初创公司零一万物发布了其首个模型Yi-34B，这是一个双语基础模型，训练参数达到340亿，显著小于其他开源模型，如Falcon-180B和Meta LlaMa2-70B，根据Hugging Face的排名，Yi-34B在预训练LLM模型中名列前茅。据李开复所述，Yi-34B可以处理上下文窗口长度达200K，这意味着40万字的文本处理量，是目前全球最长。李开复解释称，尽管更大的模型需要大量高质量数据的良好训练，但他们仍然相信，训练得当的更大模型将始终明显优于质量和技术相当的较小模型。