Amazon SageMaker Canvas做了应用测评.

一、案例背景

1. 背景介绍

利用建构主义促进更好学习效果的实现,是网络教育的新形式。

在形式上,它更多地以翻转课堂的形式着陆。它的真正实现需要一些因素,其中一个更重要的一点是,学生可以互相讨论和启发,以便更好地吸收教学内容。

在引入正式分析之前,简要介绍翻转课堂,是一种实践相结合的方式,先老师讲一段内容,然后学生讨论,通过学生讨论前面的内容,更好地理解内容,相互碰撞可以更深入地理解概念,使用边界更清晰,过去的经验和未来的使用可以有一些良好的联系和触摸。

2. 当前问题卡点

当前中间过程中的问题卡点,学生进入翻转班不能讨论,原因是很少有人进入房间发言,会有一个房间一个人发言,其他人沉默。

二、分析框架确定

1. 基本假设

为了取得更好的效果,学生需要在听完之后讨论他们以前学过的东西。你可以回忆和想象高中的场景。老师在舞台上讲完内容后,在舞台前后分组讨论。讨论和碰撞思想是此时的本质。

因为线下的过往关系积累以及线下的关系压力等,所以大家发言讨论不是难事儿,但线上的场景里,有些难度。在尝试了通过数据瞄定线上关系,通过关系分组失败之后,将视角转移到了人的方面,在这里首先有两个假设:

  1. 演讲需要过去的积累。
  2. 发言的人在过去的迹象中有做出一些不同的表现,更活跃更愿意参与各种意见表达。

2. 确定分析目标

锁定分析目标有两个:

  1. 通过建模学生的历史数据,最终可以预测用户是否会说话;
  2. 作为后续产品运营的考虑出发点,可以尝试确定哪些行为对识别发言更重要。

三、数据介绍

1. 选择基于假设的指标

为了相对准确地预测是否发言,从两个假设中找到相关的可量化数据指标。最后,选择了四类数据。它们是基础数据、历史等活动的数据、历史学习和互动。

根据以上四个方面,确定了以下指标:

Amazon SageMaker Canvas做了应用测评.

Amazon SageMaker Canvas做了应用测评.

Amazon SageMaker Canvas做了应用测评.

Amazon SageMaker Canvas做了应用测评.

2. 目标值确定

除上述变量外,目标字段为talk,他的判断条件是talk厅发言超过1min一、小于等于1min的计为0。

3. 数据量备注

因为使用Canvas在此过程中需要上传文件,因此进行脱敏,使数据集既能保留数据的原始有用部分,又能得到一定的保护。

因为是新业务的早期阶段,只能得到2000 条数据。虽然看起来很少,但可以用来做最初的简单模拟。

四、利用Canvas建立机器学习模型

1. 操作总结

在Canvas建立模型的操作分为以下五个步骤:

  1. 构建aws数据存储;
  2. 导入数据;
  3. 回归和预测模型通过目标区分;
  4. 建立模型;
  5. 模型完成,结果回归。

2. 构建数据存储

首先打开Amazon SageMaker Canvas。因为前期已经注册了,Amazon SageMaker Canvas,因此,注册登录等不作演示。

接下来搜索s3,打开s3,在buckets点击创建数据存储位置create bucket创建存储数据的桶。

Amazon SageMaker Canvas做了应用测评.

图为我创建的三个bucket,我在这次操作中使用的是sagemarker-studio-l,点击打开它,上传到本地csv。这里需要注意的是,只能上传csv,xlsx这种格式上传后不能使用,需要特别注意。

Amazon SageMaker Canvas做了应用测评.

Amazon SageMaker Canvas做了应用测评.

通过upload打开下一个上传页面add files打开我们想用的东西csv文件夹,点击上传完成文件添加。

3. 导入数据

搜索Canvas回到这个页面,点击左边边栏Canvas启动Canvas功能。

Amazon SageMaker Canvas做了应用测评.

打开的页面如下图所示。

Amazon SageMaker Canvas做了应用测评.

理论上,有数据才有模型,但在Canvas没有完全固定的顺序,可以先添加数据或模型。

现在我们先建立一个模型,点击new model”,对model起一个可识别的名字。便于后续查看。

我将以我的目标和版本操作命名。在此操作中,命名为talk-vx(下图是第三次建立模型,所以命名为talk-v3)。

Amazon SageMaker Canvas做了应用测评.

选择页面import将数据的方式s3中bucket下sagemarker-studio-l中存储的csv导入模型可选范围,并选择相应的数据集。下图为操作示意图。

Amazon SageMaker Canvas做了应用测评.

Amazon SageMaker Canvas做了应用测评.

Amazon SageMaker Canvas做了应用测评.

Amazon SageMaker Canvas做了应用测评.

所有操作完成后,选择相应的数据集,点击select dataset确定数据集。

4. 通过目标区分回归和预测模型

lt=”” width=”771″ height=”362″>

在我的数据集中,talk是用户发言的or没有发言,再次明确这个目标字段的talk厅发言1min以上为1,否则为0。

在select a column to predict在栏目下,选择talk最终目标字段。Canvas智能识别为二分类模型。

5. 建立模型

我们可以快速我们的指标,然后通过quick build快速构建模型后,自动定位analysis页面等待一段时间。

在这个过程中,我们只需要等待,没有其他操作。

6. 完成模型,回归结果

如下图所示,Canvas模型模拟已经完成,准确性已经返回。

Amazon SageMaker Canvas做了应用测评.

1)精度概念清晰

准确度在85.681%,看起来不错。但这里有一个问题需要澄清。准确率是多少?

机器学习的准确性=预测对的个数/整体个数。

这里举个例子。在这个实验中,如果有10个数据,6个是0,4个是1;预测的10个结果,6个0中预测的5个0,4个1中预测的2个1,那么这里的准确率是(5 2)/10 = 70%。

2)不使用准确性作为评价标准的原因

Canvas还提供了准确性部分的查询。可以打开scoring页面看整个模型的预测。

在下图中,我们可以看到最左边的数据是400 的数据量,而在前文中,模型中的数据是2000 的数据。

这类似于我们在使用机器学习时切割训练集和测试集数据的操作,切割部分用于预测训练模型。

Amazon SageMaker Canvas做了应用测评.

通过颜色和条状宽度,我们可以区分1是小部分,0是大部分,但在预测错误的情况下,1预测0和0预测1,图片上的宽度看起来相似。

但是,我们需要考虑到0和1的真实宽度分布,我们可以知道1预测错误的数量/实际的数量为1>0预测错误/实际为0的数量。

因此,我们可以清楚地看到,用准确性来衡量不平衡的数据是不可靠的。举个极端的例子,在1000个数据中,999个0,1个1,即使预测为0,也能保证其更高的准确性,99.9%。但在这种情况下,99.9当我们真正预测的时候,%的准确性是没有用的。因为1是我们想要准确预测的。

3)选择混淆矩阵作为判断依据

因此,我们应该用另一种方式来判断模型的质量,混淆矩阵。Canvas还提供了查看混淆矩阵的入口。advanced metrics查看混淆矩阵。

Amazon SageMaker Canvas做了应用测评.

在混淆矩阵中,我们需要定义什么是例子,例子是我们所期望的记忆,在我们的案例中,

因为我们要看到的预测者是发言人,也就是说talk = 1在左上角 1positive class选择1,很容易看到模型的准确性和召回率,即62.887%和70.115%。情况不是特别高。

4)快速理解混淆矩阵

为了便于理解混淆矩阵,通过一个小例子强调了几个基本概念。

例如,我们通过数据从一群人中预测女孩。

Amazon SageMaker Canvas做了应用测评.

  • 所以准确性是TP/(TP FP),这个值低就是把男生预测成女生,说明我们找出了不想找的东西。
  • 那么召回率就是TP/(TP FN),这个值低就是把女生预测成男生,说明我们找不到自己想要的。

5)Canvas在更短的时间内有更高的模型效果

回到之前的案例,我们可以看到这两个案例的准确性和召回率都不是特别高,低于80%。

所以这样的例子,可以说是Canvas模型模拟水平不够吗?

当然不能这么武断地下结论。

有两种可能性:

  • 一是数据不好,所谓garbage in,garbage out”。
  • 第二种是模型选择不好,每个模型都有自己的适用边界和性能。

当然,这两者可能无法完全断定。

但是用另一种方法来判断,用这个数据python做过模型,利用自己做的模型选择的算法选择了逻辑回归模型。下方的LR即所选结果。

Amazon SageMaker Canvas做了应用测评.

Amazon SageMaker Canvas做了应用测评.

调参后,准确率60.85%,召回率65.84%Canvas处理的好。

如果去使用Canvas如果消耗1/10的时间和精力,就足以取得更好的效果,从而大大提高日常工作效率。

回到以上话题,通过这两次比较,基本上得出数据质量低的结论。

需要改进数据指标或数据量。可以考虑:

  1. 用更多的指标或替换更有用的指标
  2. 重新训练的数据量更多。

五、回归分析目标

然后回到最初的分析目标。

  1. 通过建模学生的历史数据,可以构建预测用户是否发言的模型。
  2. 作为后续产品运营的考虑出发点,可以尝试确定哪些行为对识别发言更重要。

1. 第一个分析目标回归

在第一个分析目标一个分析目标。Canvas结果比自己好,时间短。所以可以用Canvas的结果,用Canvas对后续情况进行预测。

这里可以考虑两个迭代方向:

  • 一是在选择数据指标时,能够在逻辑上找到更多可能的数据指标;
  • 另一种是在数据量方面积累更多的业务数据来训练模型。

但是,没有更好的策略,Canvas模型结果是目前可以考虑的结果。

2. 第二个分析目标回归

在第二个分析目标中,可以初步找到需要注意的指标。

Amazon SageMaker Canvas做了应用测评.

从这个左边指标的影响程度上,我们可以看到哪些指标对预测发言有效。

前六个指标是:

  1. 停留在talk厅的时长;
  2. 留在课程和talk大厅总长;
  3. 查看其他课程并发送信息互动的数量;
  4. 付款到现在的时间天数;
  5. 留在老师讲课处;
  6. 每周活跃天数。

这些都是可以考虑的前六个指标,但是有一个额外的关注,简单的改进talk大厅的长度毫无意义,所以你需要看看下一步是什么talk厅停留时长相关,那些停留时长更长的与更短的区别在哪些方面等等。

当然,这些都是业务集合推广的步骤,但确实找到了下一步可以考虑的起点。

六、期待与总结

正确使用Canvas有两个期望:

  1. 能够连接到公司的数据库,获取数据更方便,从而更快地选择数据并构建培训模型。
  2. 可以返回数据预测结束后的结果,如返回结果api接口。这样可以帮助后续的在线互动教育实现更快更合适的分组。

总结

Canvas它是一种非常方便、快速、高效的工具,其优点如下:

1)通过导入数据,操作简单快捷,quick build快速完成短时间高效的模型训练。与自己的模型编写代码相比,训练模型并不断调参,Canvas达到更好的效果需要1/10的时间。

2)由于模型效果更好,训练速度更快,特征项目完成后可以快速掌握数据,这些数据可以训练到什么程度。当然,如果没有特别好的特征项目处理,你可以用逻辑缩小范围,不断构建模型尝试,找到最合适的分类元素。

3)在模型结果输出后,可以考虑模型中指标的重要性.

相关新闻

联系我们

联系我们

888-888-8888

在线咨询:点击这里给我发消息

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
关注微信
分享本页
返回顶部