【中文版】Gemma技术报告

AI 全书内容总结

本资料为谷歌DeepMind于2024年2月发布的《Gemma：基于Gemini研究和技术的开放模型》技术报告的机器翻译中文版，译文带“Machine Translated by Google”标记，段落顺序错乱、术语翻译失当（如将LLM译作“法学硕士”），可读性较差。原报告介绍Gemma轻量级开放模型系列：提供20亿与70亿参数两种尺寸，分别面向CPU/端侧应用与GPU/TPU高效部署，架构基于Transformer解码器，采用RoPE旋转位置嵌入、GeGLU激活、多查询注意力等改进，词表规模256k，以最多6T tokens的文本数据预训练，训练采用TPUv5e集群并估算碳排放与碳抵消。模型经监督微调（SFT）与基于人类反馈的强化学习（RLHF）指令调优，同时发布两种检查点及开源代码库。评估称18个文本任务中11个优于同规模开放模型，数学与编码突出；并做了训练数据记忆与个人信息泄露分析、偏见与安全评估及责任部署讨论，文末附参考文献。需说明：资料与名称相符（确为Gemma技术报告中文版），但与“价值投资综合书籍”主题完全不符，属AI技术文档误收入投资资料库，作炒股学习材料价值有限。