DarwinMLInference流式推理引擎人工智能平台商业化产品

原标题：DarwinML Inference流式推理引擎人工智能平台商业化产品

什么是流式推理引擎：

推理引擎是将人工智能模型转化为生产力的关键部件。它衔接数据科学家、终端用户和运营商，在典型的商业场景中，运营商将数据科学家研究的人工智能模型，部署于计算平台，并引导终端用户的请求在计算平台各模型间流转，最终形成客户期望的响应，并在其终端展示。

流式推理引擎是推理引擎的一种工作形态，他将人工智能模型及相关的周边处理，以工作流的方式组织起来，对外提供更能适配客户业务需求的推理服务。

它工作的时候，数据从终端客户或设备开始，在推理引擎的驱动下，按照既定的工作流业务逻辑，在各智能和非智能处理节点间流动，最终以业务要求的形态流出平台，被客户系统消费。

DarwinML Inference：

DarwinML Inference流式推理引擎是为人工智能平台量身定做的商业化产品。

对于数据科学家而言，它的接口抽象，贴近其思维。不限定底层人工智能框架，给其足够的自由度。对于复杂的模型，支持DAG形式的工作流和数据流同图定义，一目了然且方便后续运营商部署和弹性伸缩。

对于运营商而言，它采用成熟软件栈和微服务架构，从单机到超大规模集群弹性伸缩。它不挑硬件，支持从嵌入式设备、台式机、大型服务器、云端虚拟机和容器乃至商业集群的各种新老硬件平台。它支持对接模型编译、小型化等优化加速技术，提升模型的适应度，提高单位资源的产出。自动批量功能能充分发挥人工智能模型批量计算和底层硬件向量加速的功能，即成倍提升系统吞吐量，又不增加数据科学家和运营商的成本。

对于用户而言，它提供丰富的接入接口，包括通用RESTful到高性能的RPC，支持从Python和Java的SDK。对于低延迟的场景，能提供毫秒级的相应。对于高并发的场景，支持线性在线自动扩容。游戏网