2019年过去了。有人说,2019年可能是最近十年最差的一年,但也可能是未来十年最好的一年。我们不同意这种观点。我们对未来保持乐观,因为悲观者总是对的,乐观者总是成功的。以下是我们预测的2020年值得关注的十大技术趋势。
1.云原生将以容器的形式落地。
2019年,还有很多人会对“云原生”充满疑惑甚至误解。大概,这就是为什么我们能够在不同的场合听到云诞生的不同定义。有人说,最初的云是Kubernetes和containers也有人说,云本来就是“弹性可伸缩”的;还有人说,云本来就是无服务器的;;后来有人干脆做了个判断:云原生本身就是“哈姆雷特”,因为每个人的理解不一样。事实上,既然这个关键词是CNCF和Kubernetes的技术生态“借用”来的,那么云原生的含义和内涵是非常确定的。在这个生态中,云最初的本质是一系列最佳实践的结合;更具体地说,Cloud Native为从业者指定了一条低精神负担的路径,可以充分利用云的能力,以可扩展、可复制的方式充分发挥云的价值。因此,cloud native不是指一个开源项目或某项技术,而是一套指导软件和基础架构设计的思想。这个思路,一言以蔽之就是“以应用为中心”。
因为是以应用为中心,云原生技术体系会无限强调基础设施可以更好地匹配应用,以更高效的方式为应用“输送”基础设施能力,而不是反其道而行之。相应的,在云的原生态中起关键作用的开源项目如Kubernetes、Docker、Operator,就是让这个想法落地的技术手段。以应用为中心是指导整个云原生生态和Kubernetes项目蓬勃发展至今的主线。
2020年,随着容器尤其是Kubernetes的快速发展,CNCF基于Kubernetes迅速构建了数百个开源项目的庞大生态系统,使得云原生落地的趋势越来越清晰:以容器的形式落地,将“以应用为中心”进行到底。
2.DDD即将陷入敏捷的尴尬。
DDD(域驱动设计)的想法起源于2004年,在过去的十年里一直不温不火。只是最近两年才受到越来越多的关注。有人说,多亏了微服务,DDD才有了人气土壤。事实上,DDD是目前微服务划分方法的全球共识,但DDD的核心思想并不局限于微服务本身。因为微服务是一种建筑风格,而DDD是一种理念。微服务定义的九大核心特征与DDD的原则完全一致,这也是为什么业界在某种程度上愿意在微服务背景下采用DDD的方法和实践。尽管DDD的关注度与日俱增,但在实践中,它也遇到了敏捷开发的尴尬:如何调整组织结构以适应DDD?
以前业界提到敏捷开发,都说对个人的要求太高,其实不然。表面上看,敏捷对开发人员的技能要求很高,但实际上,是因为敏捷开发需要组织架构的调整,很多人不愿意动,所以业务和技术协作上的问题很难解决。
DDD面临的困境是一样的。以前技术线的划分可能是开发一和开发二,业务线的划分可能是业务一线和业务二线。然而,DDD从商业的角度划分领域,然后领域被划分为服务。到了地面就采用微服务架构,之前的划分方式完全不适应。因此,组织结构也是直接导致DDD登陆困难的障碍。具体表现就是配合不起来,台词互相甩锅,领导抱怨队员能力不够。
可以预见,随着微服和中台思维的不断升温,2020年DDD将会更加火爆,但随之带来的问题也会越来越突出。
3.服务网格将迎来技术普及年。
2018年以来,服务网格的热度不断攀升。随着Kubernetes生态系统的逐步建立和完善,基于Kubernetes的应用的规模和复杂性将会增加,服务网格将成为有效管理这些应用所必需的一切。企业需求将快速增长。我们认为,Istio作为2020年控制平面的技术实现,仍将在服务网格领域发挥关键作用。Istio之所以获得业界的广泛关注,在于谷歌背后的内部工程实践,以及对工程实践的重新思考和提炼。在中国,阿里巴巴等大公司也参与其中。未来市场上可能会出现其他竞争对手的'空房,但市场整合将在2020年开始。
从长远来看,我们很可能会看到类似Kubernetes的情况,出现一个赢家,公司开始标准化这个赢家。目前,行业正在围绕Istio构建一个生态系统,Istio似乎最有可能成为事实上的服务网格。
2019年,服务网格的解决方案用例相对单一。展望2020年,相信会有更多的公司通过实践更加感受到服务网格的价值,通过创造更多成功的用户故事和案例,加速服务网格的普及。或许,2020年将是服务网格技术普及之年。
4.无服务器从观望走向落地
Gartner最近的一份报告指出,到2020年,全球20%的企业将部署无服务器架构。这说明无服务器架构不仅是一个流行语,也是众所周知的云计算趋势,它在软件世界掀起了一场革命。大型制造商(如亚马逊、微软和谷歌)在无服务器架构上投入了大量资金,以赶上革命浪潮。无服务器已经从观望期走向落地过程。O'Reilly最近对1000人的调查显示,超过40%的受访者已经在使用它,50%的开发者希望尝试它。2020年无服务器的发展将在以下几个方面取得更大的进步:
Serverless 计算平台的能力有了长足进步,变得更加通用;Serverless 正在从偏离线业务进入在线业务;Serverless 生态不断发展,在应用构建,安全,监控报警等方面涌现了很多开源项目和创业公司,工具链越来越成熟;用户对 Serverless 的接受度不断增加,除了互联网等迅速拥抱新技术的行业,传统企业如银行用户也开始采用 Serverless 技术;Java 语言、社区不断努力,试图成为 Serverless 平台的主流语言;基于 WebAssembly(WASM)的 FaaS 方案有望出现。5.WebAssembly将成为新的Web技术浪潮的主角。
虽然前端一直是创新最快、开发者最爱抱怨“学不会”的技术领域,但回顾刚刚过去的2019年,很多专家都会告诉我们这样一个事实:2019年,大前端领域增速放缓,颠覆性技术不多。仔细想想,这个说法确实站得住脚。无论是框架、语言还是前端分工,2019年都没有重磅消息,主要的“厮杀”都是分领域进行的。这是好事。可能意味着前端正在走向成熟。
但如果非要选择一个2019年超预期、2020年值得关注的技术趋势,我们可能会选择WebAssembly(Wasm)。
Web到现在已经发展了三四年,2019年的发展速度超乎我们的想象。Mozilla在3月提出wasiMozilla、Fastly、Intel、红帽宣布成立字节码联盟;2019年底的大事件是WebAssembly进入W3C,成为官方推荐标准。
Docker联合创始人在Twitter上说的话给WebAssembly加了一把火:
如果WASM+WASI诞生在2008年,那么我们就不用创造Docker了。
但如果你觉得WebAssembly“闻起来很香”,那你可能又错了。最近对Javascript开发者的一项调查显示,只有少部分人在使用WebAssembly,因为目前大家都找不到放弃Javascript的理由。
但在2020年,WebAssembly的商业化可能会加速。如果你还没有关注和学习过WebAssembly,建议你补上这个作业。
现阶段Wasm的应用场景还是比较少的。主要应用场景集中在前端密集型计算服务的优化。此外,AI和区块链也有尝试。据预测,2020年,WebAssembly应该主要专注于标准和基础设施(浏览器、编译器等)的开发。).在没有完全实现后MVP的情况下,Wasm很难跳出目前的几个应用场景进行可以投入生产环境的实验,这也是Wasm在2020年将面临的一大挑战。
当然,现阶段对于Javascript开发者来说,由于现阶段Wasm标准的落地进度还没有达到可以为Javascript开发者或者前端开发者提供很多Wasm落地场景,可以解决前端实际问题的水平,所以更多的小伙伴只是持观望态度。2020年这种情况会改善吗?也可能取决于Wasm标准在工具链和浏览器层面的执行程度。
除了WebAssembly,2020年还有很多其他前端趋势值得关注,比如无服务器,比如前端智能化。
6.容器化加速了大数据基础设施。
十几年前,大数据的发展主要集中在技术框架上,社区中出现了一系列优秀的作品,如引领大数据潮流的Hadoop,如Spark、Flink,以及消息中间件Kafka等。可以说大数据领域的技术框架已经比较成熟。我们认为,在新的一年,大数据领域将迎来大数据的容器化浪潮。IT基础架构向云迁移是大势所趋。由于来自云平台的竞争,Hadoop面临着越来越大的阻力。去年6月,Cloudera和Hortonworks合并,股价暴跌40%。虽然Hadoop不太可能很快消失,但它的采用可能会放缓。
同时,由于对成本和供应商锁定的担忧,导致了向混合方法的演变,包括公共云、私有云与本地部署的结合。在混合云时代,容器非常适合大数据系统的构建和管理,依靠其自身的标准化和一次构建并运行于各处的能力。目前大量大数据系统原生支持在Kubernetes上。比如Spark正式版从2.3开始就可以不做任何修改直接运行在Kubernetes上,“在K8s上运行更好”成为后续版本演进的一大策略。行业内出现了很多案例。数据基础设施正在经历从Hadoop到云服务,再到混合云/Kubernetes环境的三个过渡阶段,目前这一过程正在加速。
当然,除了容器化浪潮,2020年,大数据领域将迎来数据实时化、全链路融合的趋势。数据本身的价值会随着时间的推移而迅速降低。以Kafka、Flink为代表的流处理计算引擎已经为实时计算提供了坚实的底层技术支持,实时数据计算已经融入到各种企业场景中。大数据的实时性包括数据的快速获取和传输、数据的快速计算和处理、数据的实时可视化、在线机器学习和模型的实时更新等。每个环节都会影响整体的实时性。
传统的机器学习和大数据技术正在逐渐融合,从原始数据导入到数据准备、数据训练到模型部署,这是一个闭环。大数据与AI平台的融合与协作将是未来的一个趋势。比如在Spark社区也提出了氢计划,在应用层串联所有大数据和AI开源框架,通过分布式调度将这些框架调度到分布式的数据和AI平台。
此外,2019年的“台湾数据”概念可谓火了一把。2020年仍然是大数据发展中值得关注的趋势。
7.基于预训练模型对深度迁移学习进行了改进。
2019年,由于预训练模型BERT和GPT 2.0的发展,深度迁移学习成为AI领域的热词。准确地说,预训练模型是自然语言处理领域的新基线。目前来看,完全不依赖于BERT的情况下,提出与BERT效果相同或更好的新模型的可能性非常小。业界大部分NLP成果都是基于BERT的各种改进或者应用在相应的业务场景中,BERT的改进也很多,出现了各种可用的变种。目前各种BERT的改进预训练模型,如XLNet、RoBERTa等,通过加入预训练数据,进一步提高了效果,但除了加入数据,还做了很多模型优化。这些突破并不是仅仅靠堆数据就能带来的结果。
我们认为在2020年,深度迁移学习将在预训练模型的基础上得到改进。比如对性能要求高的场景需要一些改进和方案优化,双向语言模型可能存在训练和预测不一致的情况,以及在长文本处理和文本生成任务上的不足。同样值得期待的是,未来该领域可能会出现更轻量级的在线服务模式。扩展到自然语言处理领域,除了不断提升预训练模型的效果,未来如何更好地与领域知识图谱结合,弥补预训练模型中知识的不足,也是一个新的技术突破方向。
8.图形神经网络的应用边界不断扩大。
图形神经网络(GNN)是2019年人工智能领域最热门的话题之一。虽然深度学习已经在很多领域取得了显著的应用成果,但是因果推理和可解释性仍然是短板。近年来,学术界和工业界都在探索新的方向。图神经网络是针对图结构化数据的深度学习框架,结合了端到端学习和归纳推理。一般认为,它有望解决深度学习无法处理的因果推理、可解释性等一系列瓶颈,是未来三到五年的关注焦点。展望2020年,最确定的是GNN仍将保持目前的快速发展趋势。从理论研究的角度来看,不断解构GNN相关的原理、特点和不足,进而提出相应的改进和拓展,如动态图、序列图、异构图等,是非常值得注意的部分。此外,用于研究GNN的标准数据集,如Cora和PubMed,相对单一和异构,因此很难准确评估复杂的GNN模型。为了解决这个问题,最近的开源OGB标准数据集,如斯坦福大学,有望大大改善这种情况。在新的评价体系下,哪些工作可以脱颖而出?值得期待。
从应用来看,除了在视觉推理、点云学习、关系推理、科学研究、知识图谱、推荐和反欺诈等领域得到广泛应用外,一些GNN相关的工作还出现在交通流量预测、医学影像、组合优化等其他场景中。其中,如何准确有效地将图形数据和GNN结合到相关场景中是应用中的重要考虑因素。相信在2020年,会有更多这样的工作来拓展GNN的应用边界。此外,如果要在行业内真正大规模实施GNN,在底层系统架构方面还有很多工作要做。业界期待出现一个更加开放、高性能、支持超大规模分布式图网络计算的主流平台。
9.大规模知识地图的自动构建将成为一个重要的发展趋势。
知识图谱作为认知智能领域的核心技术之一,已应用于语音助手、聊天机器人、智能问答等热门AI应用场景。,并涵盖泛互联网、金融、政务、医疗等多个领域。尽管发展迅速,但在知识图谱构建和落地过程中仍面临诸多挑战:首先,对人工构建的依赖程度仍然较高,仍缺乏从大规模数据中获取的手段;其次,知识图谱构建的技术成本非常高。为了解决上述问题,很多公司都在做一些自动构建知识图谱的探索工作。例如,罗明科技开发了自动地图构建工具,将一些中间构建过程自动化;腾讯正在基于聚类算法和强化学习的结合,开发自动构建图式和根据反馈调整知识图谱的能力。....2019年,知识图谱构建的技术已经从过去的完全人工编辑,发展到场景定制的NLP知识抽取结合人工模板和审核的模式,正在经历人工构建-组构建-自动构建的技术路线。自动知识图谱构建以面向互联网的大规模、开放、异构环境为特征,利用机器学习技术和信息抽取技术自动获取互联网信息。
2020年,可以预见大规模知识图谱的自动化和高质量构建将成为重要的发展趋势。具体来说,首先,知识图谱模式的自动构建和图形表示推理将成为关注的焦点;其次,随着知识图谱在各行业的深入,会有更多面向领域的知识图谱自动构建方案,如智能医疗、智能金融等相关知识图谱和推理应用构建;此外,随着5G的到来,5G知识图谱的构建也值得我们期待。
10.区块链稳定货币将成为全球关注的焦点。
在过去的一年中,主要的分布式账本技术(DLT)和主要公司的联盟链技术团队进行了许多改进,这些改进显著增加了相关解决方案解决实际问题的潜力。技术的相对成熟使得区块链能够结合企业业务在来年发展。我们认为,区块链的未来有两点值得关注:一是区块链之间的互通。2020年,我们很可能会看到更多区块链系统的集成,跨链技术也有望取得进一步突破;第二,稳定的货币支付技术。这是支付区块链的王牌。稳定货币避免了其他类型数字货币波动不稳定、剧烈的弊端,从而使数字货币真正应用于日常支付等业务场景。
与此同时,在脸书天秤的影响下,各国央行在数字货币上的竞争加剧,尤其是数字货币,中国的央行,蓄势待发,未来国际金融体系必将发生巨大变化。世界各国政府都比较关注这方面的发展,相信未来会出现稳定币值的热潮。