北大推出代码生成模型CodeShell-7B 现已开源

据 GitHub页面显示，北大软件工程国家工程研究中心知识计算实验室联合四川天府银行 AI 实验室推出代码生成模式CodeShell-7B，该模型现已在 GitHub上开源。CodeShell-7B基于 5000 亿Tokens进行了冷启动训练，上下文窗口长度为8192，架构设计上融合了StarCoder和Llama两者的核心特性。研究团队表示，CodeShell-7B构建了包含 7 万个词的词表，中文、英文、代码的压缩比分别为2.83、3.29、3.21，支持中英文和代码的平衡且高效的编解码。