设计效果检验之道

文章目录[隐藏]

设计效果检验之道

作者:Hahn

 

设计效果检验,即针对设计师的设计方案进行数据验证,通过客观的数据来量化一部分设计方案中较为主观或存在争议的地方,以此判断设计方案的优劣,从而得出检验结论。

众所周知,每个人对设计的评判是主观的,设计效果也不容易被直接量化。所以针对设计效果的数据检验变得很有必要,它可以辅助设计决策,沉淀出优秀的设计案例,并且进一步衍化出更好的方案,同时好的设计方法论得以传承。从长远角度来看,设计价值得以彰显,设计师的说服力得到提升。

同时我们是在一家商业公司,好的设计除了为用户带来良好体验,还要体现商业价值。而商业价值可较为直观的从数据中体现,这也是设计效果检验的目的之一。

那么,如何做好设计效果检验?换个说法,如何去除其他噪点,让设计因素成为唯一的验证点,从而得到严谨可靠的检验结论?且听我一一道来:

一、检验结论的可靠性

我们先从一个例子说起:

临近农历春节,设计师为所在业务设计了一套春节氛围,并在除夕前几天发布上线。节后观察数据,发现春节期间页面顶部续费按钮点击率波动上升,相较春节前提升幅度很大:

设计效果检验之道

因此,我们得出如下结论:

由于春节氛围的设计充分渲染喜庆的感觉,用户被情感化的设计所打动,并转化为实际的付费行为。该设计为业务带来了 XX 倍的数据提升,创造了 XX 的收入。后续氛围设计都可以参考该风格。

看完上述结论后,你有何想法?你觉得它是否科学可靠?为什么?

OK,相信你们内心已经有了答案。上述结论的论证过程不够严谨,因此结论也不够让人信服,这里列出几点原因:

  • 从发布时间看:氛围恰好在春节假期上线,流量激增
  • 从运营策略看:春节是运营活动推广的高峰期,用户的消费欲被大大刺激
  • 从用户角度看:春节用户的消费能力更强(年轻人有红包、工薪族有奖金)
  • 从对比方式看:数据比较应该和上一年春节比(同比),而非和节前一段时间比(环比)

所以,想要得出一个科学可靠的检验结论,其论证过程就必须严谨可靠,那有哪些影响因素需要注意呢?

 

二、检验结论影响因素

通过日常工作中实践与总结,我罗列了可能会对数据可靠性造成影响的因素:

  • 时间因素(周末、月初月尾、节假日)
  • 运营策略(红点、新增入口)
  • 用户属性(身份态、性别)
  • 内容因素(内容、排序)
  • 其他因素(网页访问速度)

1、时间因素

一般来说,周末的流量相较于工作日会更高,用户有更多的时间体验产品,所以流量会提升,因此不应该拿周末的数据和工作日的数据做对比;节假日同理,而且节假日往往伴随着消费能力的变化,正如上面提及的春节,用户的消费能力更强;而月初月尾为什么是一个纳入考虑的时间因素,是因为 QQ 主要的用户是年轻的群体,不管是中小学生或大学生,月初一般是父母给生活费、零花钱的时候,数据也表明月初的营收数据相较于月尾要更好。

2、运营策略

运营策略主要受产品侧的人为影响,例如在 App 中为活动推送红点消息引流,在页面中新增运营 Banner 位等,导致流量大涨,数据波动。从而影响到设计方案的数据观察。

举个例子,为了缩短操作路径,产品经理与设计师沟通在「好友克隆」的详情页里增加了一个底部按钮,方便用户直接在手机中实现克隆好友的操作,好友克隆是会员特权,可以观察其带动的会员开通来检验设计提升效果,发布后新增会员数量走势如下:

设计效果检验之道

原本以为这是由于路径缩短(新增按钮)所带来的转化率提升,但进一步了解产品的运营策略后发现,之所以数据上升,还有另外一个影响因素,即产品在会员中心页面里新增了一个 Banner 位:

设计效果检验之道

所以因为产品策略的影响,数据的提升并非完全来自于新增了一个按钮,虽然也无法忽略其作用。但此时的结论已经无法做到严谨可靠了。

3、用户属性

用户属性即身份态和性别。性别大家都懂,什么是身份态?QQ 会员、超级会员、年费会员、过期会员这些标识了 QQ 用户属性的状态就是身份态。

用户属性对数据检验会有什么影响?举个例子,我们希望横向对比两个活动页面中开通按钮的设计效果对转化率的影响,所以准备了两个运营活动的数据来比较:

设计效果检验之道

但上述两个活动有明显的性别倾向,如左侧倾向于男性,右侧倾向于女性(而且内容不一样);在手 Q 中男女比例和消费能力都不一样,所以横向对比不具备严谨性。身份态同理,针对年费会员的活动数据,和针对过期回流用户的活动数据两者不适合做比较,因为消费能力不同。

4、内容因素

内容本身以及它的排序也会影响数据,这常体现于列表或运营位中。举个例子,我们希望分析运营图颜色对其点击率的影响。那么必须确保其内容不变(免费领10元红包),同时排序不变(保持在第一位)。

设计效果检验之道

之所以排序需要特别拿出来说,是因为自从有了精细化运营之后,运营内容会针对不同的标签用户来差异化展示,这必然会影响到其排序和是否可见。由上图可分析,运营图颜色的改变短期会刺激用户的点击,但从长远来看点击率并无大幅的提升。

5、其他因素

其他因素如网页的加载速度越快,用户操作愉悦感更强,更能促成付费行为的成功率。改版前后若有页面性能上的提升,也会影响到数据的准确度。

当然,要想在一次设计效果检验流程中做到完全规避上述影响也非易事,这里需要设计师和产品经理沟通密切,明确目标,创造条件达成目的。说完影响因素,接下来说说怎么样去规避这些因素,做好数据校验。

三、数据检验方法

简单来说,检验方式可以概括为:灰度发布(A/B Test)和新旧版对比。

1、灰度发布

灰度发布即非全量发布,一部分用户体验新版,一部分用户仍然使用旧版。例如,针对某个新的设计方案,灰度 20% 的用户(如 QQ 尾号是 0、1 的用户)体验到新的设计方案,剩下 80% 的用户依旧使用的是原有设计。这里以 QQ 尾号为例,当然也可以通过手机尾号,用户独立 ID 等信息来控制发布比例。

灰度发布包括了 A/B Test。和灰度发布不同的是,A/B Test 一般针对两种不一样的设计方案,均分给两个群体的人使用。如针对 A、B 两种设计方案,50% 的用户(QQ 尾号为 0-4)体验到 A 方案,另外 50% 的用户(QQ 尾号为 5-9)的用户体验到 B 方案。

使用灰度发布的好处体现在哪里?它可以确保同一时间内,由不具备明显身份属性差异的随机用户来体验同一个内容和排序下不同设计方案,规避了时间因素、产品策略、用户属性、内容差异,这种情况下得到的数据是相对精准可靠的,灰度发布的验证方式更加有针对性。

设计效果检验之道

2、新旧版对比

若没有条件进行灰度发布或 A/B Test(人力、时间、技术等条件不允许),则可以通过新旧版数据对比。以发布时间为分界点,进行前后数据对比。

灰度发布确保了单一变量的对比,而新旧版对比则可能接受到很多因素的影响,正如上面所列出来的影响因素。但也是有办法做到尽量严谨可靠的。

其中时间因素是影响比较大的,为排除时间影响,可遵循原则如下:

  • 看同比不看环比
  • 看平均值不看峰值
  • 时间段内包含的周末数量一致
  • 去掉波动大的数据

设计效果检验之道

同时还需注意:我们的原则是每次验证一个小点(单一变量),若存在多种变化同时发终生,则结论无法保证严谨。所以多变量是我们在做数据检验时要规避的情况。

 

 四、总结

为什么要做设计效果检验,在开头已经强调,我们希望数据能更多的被考虑进用户体验设计流程中,辅助设计决策,为业务带来价值同时提升设计效率,而严谨的论证过程可以帮助我们排除其他影响噪点,专注于对比不同的设计方案对数据的影响。当然,数据不是衡量设计好坏的唯一指标,数据也不是设计的目的。

这套设计效果检验方法论经过了一年多的实践,也为我们沉淀了一些较为优质的设计案例,期待未来与各位分享。

文章来源:https://isux.tencent.com/ways-of-testing-design-effect.html

头图来源:http://cn.bing.com/images

 

推荐阅读

【大数据】关于数据驱动设计的6个误区
【数据驱动】想让用户快速增长,数据分析很有用,但一定不是万能的
这个简单粗暴的设计为何是“好设计”?
【技能GET】用海量日志数据驱动游戏运营和决策
【笔记】如何用数据驱动产品和运营
 

UXRen公众账号
关注UXRen微信公众号(cnUXRen)

UXRen社区欢迎各界用户体验从业者及学生投稿优质原创文章。投稿请关注UXRen社区公众账cnUXRen(上面有二维码)留言“我要投稿”,小编会及时与您取得联系。

版权声明:除转载文章外,本站所有文章版权归UXRen社区所有,转载请注明出处:UXRen社区,并保留本站原文链接地址。本站部分文章来自互联网及公开渠道,如有侵权请及时联系我们。邮箱:contact@13tech.com.cn

原创文章,作者:震天下,如若转载,请注明出处:https://www.iamue.com/21033/

(0)
震天下震天下
上一篇 2017-08-07
下一篇 2017-08-07

相关推荐

  • 【to 交互新人】交互小白别踩这4个坑

    作者: 负如来不负卿   交互设计小白刚踏入这个领域时总会走进一些误区,为了防患于未然一起看看过来人的经验分享吧。   一些经验分享前言 作为一个交互新人,难免会踩到几个坑,即使现在不踩以后还会踩,只有踩过…

    交互专题 2017-08-07
  • 交互设计师的60日计划之第五天

    你好,8月。7月份的尾巴喜欢上一个人,花了太多心思,8月份一来终于知道不会有结果,所以要赶紧忘记,把心思花回自己身上。 2015/08/01 职场其实很可怕 今天一整天都去帮同事搬家了,虽然没干什么大的体力活,但是…

    交互专题 2015-08-20
  • 【译文】你瞅啥?文案也是一种设计力量

        做事,不能只讲求实际运用,有的时候,也是需要加入一些纸上谈兵的环节的,毕竟,在理论指导下的实践才不是盲目的。 通常,一些科技类企业无法保证其网页每一个单独界面、广告业和交互页面上的文案都有专人负责…

    交互专题 2017-08-07
  • 2018年3月交互设计招聘内推信息

    58体验设计团队——北京 交互视觉用研岗都有,欢迎各位朋友自荐或推荐,非常感谢。 简历可发给uxd-job@58ganji.com  是一直活泼可爱的团队~ 对于男设计师来说:100人里65%是女生 其中单身有1/4 机会还是很大的 阿里口…

    交互专题 2018-03-09
  • 用微妙动效改善用户体验的简单方法

    译者:zyl0127     应用程序中的动效具有新的改良性的意义。跟过去的华丽、混乱的网站动画不同,新的动画干净、流畅,并且易于导航。忘掉你所知的GIF、令人不愉快的广告和Flash网站吧, 这些都是过去的事情了。 当…

    交互专题 2017-08-07
  • 腾讯2016年度7个创新功能,你最爱哪个?

    作者:腾讯   那么,在你眼里,创新是什么样的? 是对产品的颠覆式变革?是将原有技术植入新的领域?是新的产品和领域的开拓?抑或,只是某一个让你会心一笑的新功能? 在腾讯,每月都有微创新奖的评选,在内部开启…

    交互专题 2017-08-07
  • 交互设计的综合性——后APP时代交互设计师的主场

    作者:司马西   1. 后APP时代-用户时间的争夺战 近几年来,移动互联的普及,各大厂商为了抢占市场激烈竞争。然而硝烟散去,我们统计并回视移动互联网的App世界,各大行业(包括:新闻、游戏、餐饮、医疗、教育、金…

    交互专题 2017-08-07
  • 腾讯MXD:资讯app为什么都长一个样?

    作者: Celine Wang@腾讯MXD   打开手机,国内的资讯 app 除了品牌 logo 外,几乎都长一个样。就如你敲开不同的门,发现房间不光装修风格一样,还住着品味雷同的主人。是什么造就了它们? 资讯产品的本质是连接内容…

    交互专题 2023-03-03
  • 交互、研发、视觉部门的协作工作技巧分享

    本文转载自交互学堂公众号,作者阿西UED 交互、研发、视觉部门的协作工作技巧分享 微信号:IxDSchool 本文是图片形式,打开有些慢,请耐心加载完再阅读。这里有原文地址

    2016-01-15
  • 产品设计评价技巧的那些事(Airbnb产品设计总监)

    分享者:Katie Dill(Airbnb产品设计总监);译者:夏梦竹、张红月   在产品设计中会存在各式各样的评价,也许评价可能会带有一些意见色彩,但这就是它的价值所在。它让我们明白——为何人们喜爱或是讨厌我们的产品。…

    交互专题 2023-03-03