2020年12月21日，上海/ PRNewswire /-穗远科技今天发布了其首款人工智能推理产品“ Yunsui？”。 i10”。这是用于云数据中心的高性能推理卡。 Yunsui i10是单插槽标准卡，支持PCIe4.0，FP32计算能力达到17.6TFLOPS，BF16 / FP16计算能力达到70.4TFLOPS。同时，随缘科技发布了推理引擎“ TopsInference”，该引擎可以为深度学习应用程序提供低延迟和高吞吐量的推理性能，并降低数据中心部署的成本。 Yunsui i10将于明年第一季度上市。随缘科技发布了其首款人工智能推理产品“ Yunsui i10”。根据权威市场机构的预测，从2022年开始，云数据中心对人工智能推理芯片的需求将超过对培训芯片的需求，整个推理市场将获得发展动力。准备好出发。云推理解决方案更加关注综合指标，包括计算能力，延迟，成本等，并更加关注用户体验的优化。 “ Yunsui i10”具有出色的计算能力，出色的多功能性和出色的价值特性：高计算能力，多精度：FP32计算能力为17.6TFLOPS，BF16 / FP16计算能力为70.4TFLOPS；独立的指令集，支持从FP32到INT8的各种精度，最大功耗仅为150W；高能效，高可靠性：采用动态频率和电压调节（DVFS）技术，根据负载加速应用性能，支持RAS，ECC；设备虚拟化：实现多用户支持，多达4个设备实例，专有的计算和存储资源以及多用户之间的安全隔离；可以同时在单个芯片上部署不同的服务和负载，以实现多任务并行性并有效提高利用率；支持KVM和Xen等系统虚拟化平台；易于编程和生态开放：开放的C ++和Python编程接口，支持CNN和NLP典型模型，支持主流机器学习框架，并通过SDK提供深度定制。穗远科技还推出了高性能神经网络模型推理引擎“ TopsInference”。用于推论产品。通过诸如计算图优化，运算符融合，模型压缩和量化之类的优化技术，它可以为深度学习应用程序提供低延迟和高吞吐量。推理性能的比率。通过TopsInference的推理加速，再加上i10的强大计算能力和虚拟化技术，数据中心可以经济高效地部署计算密集型深度学习工作负载。除了TensorFlow和PyTorch模型格式外，TopsInference还支持ONNX通用模型格式。凭借Suiyuan GCU-CARA架构的可编程性，它可以应对未来深度神经网络日益多样化和复杂的增长趋势。穗远科技创始人兼首席执行官赵立东表示，穗远科技将坚持两轮驱动，努力成为行业领导者。在发布第一张面向数据中心的人工智能培训加速卡“ Yunsui T10”之后，去年12月，今天我们推出了首款人工智能推理加速器卡“ Yunsui i10”。云推理市场可以满足AI应用程序和登陆场景的快速扩展，以及市场和客户的需求。需要更高成本效益，本地化和差异化的云推理产品。因此，穗远科技已成为国内唯一一家同时拥有云培训和推理加速产品，并形成一个封闭业务环的初创公司。”穗远科技首席执行官赵立东说：“当前的全球技术产业，尤其是集成电路产业，正在发生深刻的变化。科技将继续加速技术创新和产品迭代，与世界先进水平保持距离，并构筑自主创新技术的护城河。同时，它将与上下游合作伙伴合作，以加快业务实施和扩大市场规模。针对互联网数据中心和垂直行业（金融，保险，教育，医疗保健，运营商等），新的基础架构以及三个主要业务方向的应用场景，改进了培训和推理软件堆栈，工具链和解决方案。通过产学研合作，共同打造本地化的产业生态，助力中国人工智能的发展