XuanYuan-70B

模型介绍

考虑到金融场景下存在非常多长文本的业务，基于我们高效的分布式训练框架，我们将模型的上下文长度在预训练阶段从4k扩充到了8k和16k，据我们所知，这也是首个在70B参数量级上达到8k及以上上下文长度的开源大模型。 具体细节参考：XuanYuan-70B 我们自研的指令微调数据预期模型能够在通用对话能力保留的同时，更加侧重金融领域的问答。具体来说，通用指令数据分为以下几个大类：常识百科、代码编程、逻辑推理、数学计算、创意生成、安全无害、摘要提取、翻译等。其中每一大类下又设计了多个子类，来尽可能保证指令数据的多样性和丰富度。 在训练过程中，我们同样保持8k的上下文长度，未采取外推的措施来提升上下文。后续我们将继续在预训练阶段来提升上下文长度。 同时训练数据中的question-answer pair，我们仅对answer部分计算损失。

主要特点

特点摘要待依据来源补齐，不凭模型名称推断能力。

局限与注意事项

暂无足够来源支持具体缺点结论。请重点验证实际任务表现、时延、数据政策、许可与版本生命周期。

来源报价与费用分析

同一模型在不同渠道、地区和配置下可能采用不同价格。下表独立保留各渠道报价，不将渠道价格视为厂商官方统一价格。

公开评测与运行配置

暂无已采集的可核验公开评分。模型未上榜不代表能力较低。

常见问题

资料来源与可追溯记录

许可证：llama2。模型介绍与第三方评测均以原来源的具体版本和方法为准。