目前，大量资金正在流入语言模型开发领域。语言模型是一个可以理解和生成文本的AI系统。近年来，这种模式是各大公司关注的焦点。著名人工智能公司OpenAI开发的大语言模型GPT-3正在被成千上万的开发者使用。约翰·斯诺实验室的调查显示:“60%的技术领导者表示，他们2021年在自然语言处理(NLP)方面的预算比2020年至少增加了10%；三分之一的技术负责人表示，他们的NLP预算至少增加了30%。”除了OpenAI、Google、meta等公司正在加大对语言模型的投入外，其他公司或实验室也在围绕NLP模型构建服务。以色列公司A21实验室开发了一种叫做侏罗纪-1 Jumbo的模型。模型大小类似于具有1750亿个参数的GPT-3。该公司还围绕Jurassic-1 Jumbo逐步打造了一系列产品，包括一个名为AI21 Studio的“人工智能即服务”平台。这个平台允许客户创建虚拟助手、聊天机器人、内容审计工具等。
(来源:AI21实验室)
值得一提的是，最近A21实验室在B轮融资中融资6400万美元。考虑到现在的经济形势，投资者的资金已经不像2010年代那么容易获得，这个资金量已经非常可观了。据悉，本轮融资由Ahren创新资本基金(Ahren Innovation Capital Fund)领投，视觉感知辅助驾驶开发公司Mobileye的联合创始人兼首席执行官Amnon Shashua、Walden Catalyst、Pitango、TPY资本和亿万富翁企业家Mark Leslie参与。截至目前，A21实验室筹集的资金总额已超过1.1亿美元。显然，投资人对大语言模式的发展极为看好。公司的投资者并不是唯一认为大语言模式背后有大商业模式的人。例如，微软已经在2019年向OpenAI投资了约10亿美元，并获得了GPT-3的独家授权。可以说NLP模型领域的竞争正在升温。凭借GPT-3模型，OpenAI现在被视为该行业的领导者。A21实验室被投资者视为OpenAI最强劲的竞争对手之一。投资者认为A21 Labs是技术和商业的最高水平，是一家革命性和差异化的公司。针对此次融资，A21实验室联合创始人兼首席执行官Ori Goshen对媒体表示:“新的资金将主要用于开发更大、更复杂的语言模型，同时用于招募更多优秀人才。”他还向媒体补充说，事实上，新冠肺炎的疫情对他们的业务产生了积极的影响。随着越来越多的人开始在家远程工作，人们过去口头分享的内容现在由书面文本来传达。他们的大语言模型可以帮助其他公司对文本进行总结和分类。据了解，A21实验室于2017年由戈申、沙·舒雅和斯坦福大学计算机科学教授约夫·肖汉姆(Yoav Shoham)共同创立。该公司首先发布了一款名为Wordtune的应用，这是一款集成了AI功能的书写辅助产品。当时是为了和软件公司在语法上竞争。
上面提到的AI21 Studio是由A21实验室在2021年8月发布的，同时还提供了一项“按需付费”服务，允许开发人员申请访问定制模型，根据他们的要求微调数据集。
(来源:AI21实验室)
那么，值得一提的是，现有的大多数语言模型都会遇到一个问题，就是可能会产生有害的或者有偏见的文本。因为他们训练用的数据大部分直接来自互联网，里面包含了各种各样的信息。A21实验室型号也有这个问题。尽管该公司要求用户遵守使用条款，但它尚未过滤其应用程序接口(API)输出的潜在有害内容。然而，A21实验室对媒体表示，为了打击滥用，它将手动审查微调模型的请求，并声称其模型产生的不良信息略少于GPT-3。该公司还提到，他们模式的另一个优势是，他们接受过维基百科和其他知识的培训。此外，据报道，A21实验室采用了“模块化推理知识系统”，以增强Jurassic-1系列新Jurassic-X模型的内容输出，该系统允许Jurassic-X回答和简化具有挑战性的“复杂”问题，如“困难”的数学运算。但是，该模型尚未被允许与其他业务语言模型进行比较，其具体能力和效果有待进一步确认。此外，当被问及公司的情况时，Goshen拒绝透露公司的营收数据，甚至是增长预期。只是对媒体说，AI21 Studio有几百个付费客户和设计合作伙伴，Wordtune有几百万用户，此外还有免费计划的一万多用户。最后，目前大模型的开发和训练成本较高，可能会给开发机构和投资人带来很大压力。据了解，A21实验室需要花费160万美元开发一个拥有15亿个参数的语言模型，这还没有计算模型的托管成本。而Jurassic-1 Jumbo有1780亿个参数，可想而知其成本之高。“目前，语言模型技术仍处于初级阶段，其市场需求和商业化未来还不够清晰，”Goshen对媒体表示。“在获得这笔资金后，A21实验室将继续履行其使命，即建立一个具有前所未有的理解和生成自然语言能力的AI系统。”
参考资料:
https://techcrunch.com/2022/07/12/openai-rival-ai21-labs-raises-64m-to-ramp-up-its-ai-powered-language-services/https://mixed-news.com/en/openai-competitor-ai21-labs-gets-large-multi-million-investment/
