/
数据质量 关键字列表
跨语言质量判断：基于语言模型的多语言预训练数据过滤方法
这项研究提出了JQL（发音为"Jackal"），一种通过多语言方法提升大型语言模型预训练数据质量的创新系统。研究团队从拉马尔研究所等机构通过四阶段方法解决了多语言数据筛选的难题：先由人类评估内容教育价值创建基准数据，然后评估大型语言模型作为"评判者"的能力，接着将这些能力提炼到轻量级评估器中，最后应用于大规模数据筛选。实验表明，JQL在35种语言上显著优于现有方法，甚至能泛化到未见过的语言如阿拉伯语和中文，为多语言AI发展提供了高效可靠的数据筛选方案。
“弱智贴吧”的数据，居然是最强中文语料库
在大模型领域英语一直是训练数据最重要的语言，但由于中英文的结构和文化差异,直接将英文数据集翻译成中文并不理想。所以，为了填补高质量中文数据集的空白，研究人员开发出了COIG-CQIA数据集。
药物开发现代化之路：应用AI技术的经验和教训
全球20强生物制药企业中，去年新药开发的平均成本上涨了15%（增长数字为2.98亿美元），总额来到约23亿美元。这23亿美元，涵盖了从候选药物发现、临床试验再到产品上市的全流程平均成本。
白皮书
京公网安备 11010802021500号
