本文介绍了Yuanjiao的开源分布式机器学习库ytk-learn和分布式通信库ytk-mp4j的相关内容，它们可以在多种应用场景中使用。 ytk-learn是基于Java的高效分布式机器学习库。它易于使用，并有详细的文档。它仅要求用户安装Java 8运行时环境，并且所有模型都具有可运行的演示。 Ape家教公司开源了两个机器学习项目-ytk-learn，ytk-mp4j，其中ytk-mp4j是高效的分布式通信库，在此通信库的基础上，我们实现了ytk-learn分布式机器学习库，机器学习图书馆目前已在元岛的许多应用场景中使用，例如自适应学习，学生高考成绩预测，数据挖掘，课程推荐等。ytk-learned分布式机器学习图书馆项目背景LR（LogisTIc Regression），GBDT（Gradient BoosTIng）决策树），FM（要素机器），FFM（现场感知因子机器）模型广泛用于广告点击率预测和推荐系统模型，但到目前为止，几乎没有有效的机器学习开源项目将这些结合在一起常用模型，并且许多机器学习开源项目只能在特定的计算平台下使用， d最重要的是，它们不能在生产环境中有效地集成到生产线中。创建ytk-learn就是为了解决上述问题。图1 ytk-learn功能概述项目简介ytk-learn是基于Java的高效分布式机器学习库，它实现了大量主流的传统机器学习模型（GBDT，LR，FM，FFM等）和损失函数，并支持单机多线程，多机集群和分布式计算环境。其中，GBDT / GBRT的实现利用了XGBoost和LightGBM的大多数有用功能，支持特征并行性和数据并行性，支持传统的精度算法和直方图逼近算法，支持逐级或逐叶的树构建方法，并实现了分布式加权分位数逼近。在单机数据并行方案中，训练速度相当于XGBoost，在非$ 2 ^ n $机的分布式方案中，训练速度比LightGBM更快，更稳定。传统的GBDT / GBRT不能用于具有大量分类功能的场景。我们已经实现了多种GBST（梯度增强软树）模型，这些模型适用于大量的分类功能。在圆陀LR，FM，FFM等模型的点击率预测和推荐场景中，效果明显好。 ytk-learn实现了改进的Hoag（具有近似梯度的超参数优化，ICML2016）算法，该算法可以自动有效地搜索超参数。当目标函数是凸函数时，hoag可以快速获得最优超参数（kaggle游戏武器），这比传统的网格搜索算法（grid search）有效得多，它也适用于非凸目标函数场景。其他功能：1.简单易用，详细的文档，用户只需要安装Java 8运行时环境，并且所有模型都具有可运行的演示2.支持主流操作系统：Linux，Windows，Mac OS，仅需安装Java8可以使用运行时环境。3.支持单机多线程，多机集群和分布式环境（Hadoop，Spark），与Hadoop Mahout相比，Spark MLlib效率更高。4.提供简单易用的在线预测易于集成的代码到在线生成环境5.支持多个目标功能和评估指标，支持L1，L2，L1 + L2规律性6.树模型支持样本采样，特征采样并提供初始估计值训练7.支持特征预处理（归一化，缩放），特征哈希，特征过滤，基于样本标签的采样。8.提供python脚本，以便在读取数据时进行有效的数据处理。9.训练模型港口检查站，继续训练10。LR支持拉普拉斯逼近，方便进行Exploitation＆amp; Exploration11。基于元教的ytk-mp4j通讯库，分布式培训的效率非常高