8月18日消息，ASIC芯片设计公司嘉楠科技（Canaan）近日正式发布参数量70亿的通用大语言模型Toucan-7B及INT4量化版本的Toucan-7B-4bit。其中，Toucan-7B基于LLaMA预训练权重进行指令微调，能够实现文案写作、代码解析、信息抽取等各种通用自然语言处理任务。Toucan-7B-4bit基于当前最新量化技术对Toucan-7B实现极低损失的INT4量化。此外，Toucan-7B是基于GTX-3090单卡GPU实现所有的实验流程，是真正方便每位开发者所使用的通用LLM模型。Toucan-7B的效果略微优于ChatGLM-6B，并且Toucan-7B-4bit模型的效果也能够达到与ChatGLM-6B持平的水准。ChatGLM(清华开源LLM模型)是国内首批开源的通用大语言模型，也是最优秀的中文大语言模型之一。