设计效果检验之道

文章目录[隐藏]

设计效果检验之道

作者:Hahn

 

设计效果检验,即针对设计师的设计方案进行数据验证,通过客观的数据来量化一部分设计方案中较为主观或存在争议的地方,以此判断设计方案的优劣,从而得出检验结论。

众所周知,每个人对设计的评判是主观的,设计效果也不容易被直接量化。所以针对设计效果的数据检验变得很有必要,它可以辅助设计决策,沉淀出优秀的设计案例,并且进一步衍化出更好的方案,同时好的设计方法论得以传承。从长远角度来看,设计价值得以彰显,设计师的说服力得到提升。

同时我们是在一家商业公司,好的设计除了为用户带来良好体验,还要体现商业价值。而商业价值可较为直观的从数据中体现,这也是设计效果检验的目的之一。

那么,如何做好设计效果检验?换个说法,如何去除其他噪点,让设计因素成为唯一的验证点,从而得到严谨可靠的检验结论?且听我一一道来:

一、检验结论的可靠性

我们先从一个例子说起:

临近农历春节,设计师为所在业务设计了一套春节氛围,并在除夕前几天发布上线。节后观察数据,发现春节期间页面顶部续费按钮点击率波动上升,相较春节前提升幅度很大:

设计效果检验之道

因此,我们得出如下结论:

由于春节氛围的设计充分渲染喜庆的感觉,用户被情感化的设计所打动,并转化为实际的付费行为。该设计为业务带来了 XX 倍的数据提升,创造了 XX 的收入。后续氛围设计都可以参考该风格。

看完上述结论后,你有何想法?你觉得它是否科学可靠?为什么?

OK,相信你们内心已经有了答案。上述结论的论证过程不够严谨,因此结论也不够让人信服,这里列出几点原因:

  • 从发布时间看:氛围恰好在春节假期上线,流量激增
  • 从运营策略看:春节是运营活动推广的高峰期,用户的消费欲被大大刺激
  • 从用户角度看:春节用户的消费能力更强(年轻人有红包、工薪族有奖金)
  • 从对比方式看:数据比较应该和上一年春节比(同比),而非和节前一段时间比(环比)

所以,想要得出一个科学可靠的检验结论,其论证过程就必须严谨可靠,那有哪些影响因素需要注意呢?

 

二、检验结论影响因素

通过日常工作中实践与总结,我罗列了可能会对数据可靠性造成影响的因素:

  • 时间因素(周末、月初月尾、节假日)
  • 运营策略(红点、新增入口)
  • 用户属性(身份态、性别)
  • 内容因素(内容、排序)
  • 其他因素(网页访问速度)

1、时间因素

一般来说,周末的流量相较于工作日会更高,用户有更多的时间体验产品,所以流量会提升,因此不应该拿周末的数据和工作日的数据做对比;节假日同理,而且节假日往往伴随着消费能力的变化,正如上面提及的春节,用户的消费能力更强;而月初月尾为什么是一个纳入考虑的时间因素,是因为 QQ 主要的用户是年轻的群体,不管是中小学生或大学生,月初一般是父母给生活费、零花钱的时候,数据也表明月初的营收数据相较于月尾要更好。

2、运营策略

运营策略主要受产品侧的人为影响,例如在 App 中为活动推送红点消息引流,在页面中新增运营 Banner 位等,导致流量大涨,数据波动。从而影响到设计方案的数据观察。

举个例子,为了缩短操作路径,产品经理与设计师沟通在「好友克隆」的详情页里增加了一个底部按钮,方便用户直接在手机中实现克隆好友的操作,好友克隆是会员特权,可以观察其带动的会员开通来检验设计提升效果,发布后新增会员数量走势如下:

设计效果检验之道

原本以为这是由于路径缩短(新增按钮)所带来的转化率提升,但进一步了解产品的运营策略后发现,之所以数据上升,还有另外一个影响因素,即产品在会员中心页面里新增了一个 Banner 位:

设计效果检验之道

所以因为产品策略的影响,数据的提升并非完全来自于新增了一个按钮,虽然也无法忽略其作用。但此时的结论已经无法做到严谨可靠了。

3、用户属性

用户属性即身份态和性别。性别大家都懂,什么是身份态?QQ 会员、超级会员、年费会员、过期会员这些标识了 QQ 用户属性的状态就是身份态。

用户属性对数据检验会有什么影响?举个例子,我们希望横向对比两个活动页面中开通按钮的设计效果对转化率的影响,所以准备了两个运营活动的数据来比较:

设计效果检验之道

但上述两个活动有明显的性别倾向,如左侧倾向于男性,右侧倾向于女性(而且内容不一样);在手 Q 中男女比例和消费能力都不一样,所以横向对比不具备严谨性。身份态同理,针对年费会员的活动数据,和针对过期回流用户的活动数据两者不适合做比较,因为消费能力不同。

4、内容因素

内容本身以及它的排序也会影响数据,这常体现于列表或运营位中。举个例子,我们希望分析运营图颜色对其点击率的影响。那么必须确保其内容不变(免费领10元红包),同时排序不变(保持在第一位)。

设计效果检验之道

之所以排序需要特别拿出来说,是因为自从有了精细化运营之后,运营内容会针对不同的标签用户来差异化展示,这必然会影响到其排序和是否可见。由上图可分析,运营图颜色的改变短期会刺激用户的点击,但从长远来看点击率并无大幅的提升。

5、其他因素

其他因素如网页的加载速度越快,用户操作愉悦感更强,更能促成付费行为的成功率。改版前后若有页面性能上的提升,也会影响到数据的准确度。

当然,要想在一次设计效果检验流程中做到完全规避上述影响也非易事,这里需要设计师和产品经理沟通密切,明确目标,创造条件达成目的。说完影响因素,接下来说说怎么样去规避这些因素,做好数据校验。

三、数据检验方法

简单来说,检验方式可以概括为:灰度发布(A/B Test)和新旧版对比。

1、灰度发布

灰度发布即非全量发布,一部分用户体验新版,一部分用户仍然使用旧版。例如,针对某个新的设计方案,灰度 20% 的用户(如 QQ 尾号是 0、1 的用户)体验到新的设计方案,剩下 80% 的用户依旧使用的是原有设计。这里以 QQ 尾号为例,当然也可以通过手机尾号,用户独立 ID 等信息来控制发布比例。

灰度发布包括了 A/B Test。和灰度发布不同的是,A/B Test 一般针对两种不一样的设计方案,均分给两个群体的人使用。如针对 A、B 两种设计方案,50% 的用户(QQ 尾号为 0-4)体验到 A 方案,另外 50% 的用户(QQ 尾号为 5-9)的用户体验到 B 方案。

使用灰度发布的好处体现在哪里?它可以确保同一时间内,由不具备明显身份属性差异的随机用户来体验同一个内容和排序下不同设计方案,规避了时间因素、产品策略、用户属性、内容差异,这种情况下得到的数据是相对精准可靠的,灰度发布的验证方式更加有针对性。

设计效果检验之道

2、新旧版对比

若没有条件进行灰度发布或 A/B Test(人力、时间、技术等条件不允许),则可以通过新旧版数据对比。以发布时间为分界点,进行前后数据对比。

灰度发布确保了单一变量的对比,而新旧版对比则可能接受到很多因素的影响,正如上面所列出来的影响因素。但也是有办法做到尽量严谨可靠的。

其中时间因素是影响比较大的,为排除时间影响,可遵循原则如下:

  • 看同比不看环比
  • 看平均值不看峰值
  • 时间段内包含的周末数量一致
  • 去掉波动大的数据

设计效果检验之道

同时还需注意:我们的原则是每次验证一个小点(单一变量),若存在多种变化同时发终生,则结论无法保证严谨。所以多变量是我们在做数据检验时要规避的情况。

 

 四、总结

为什么要做设计效果检验,在开头已经强调,我们希望数据能更多的被考虑进用户体验设计流程中,辅助设计决策,为业务带来价值同时提升设计效率,而严谨的论证过程可以帮助我们排除其他影响噪点,专注于对比不同的设计方案对数据的影响。当然,数据不是衡量设计好坏的唯一指标,数据也不是设计的目的。

这套设计效果检验方法论经过了一年多的实践,也为我们沉淀了一些较为优质的设计案例,期待未来与各位分享。

文章来源:https://isux.tencent.com/ways-of-testing-design-effect.html

头图来源:http://cn.bing.com/images

 

推荐阅读

【大数据】关于数据驱动设计的6个误区
【数据驱动】想让用户快速增长,数据分析很有用,但一定不是万能的
这个简单粗暴的设计为何是“好设计”?
【技能GET】用海量日志数据驱动游戏运营和决策
【笔记】如何用数据驱动产品和运营
 

UXRen公众账号
关注UXRen微信公众号(cnUXRen)

UXRen社区欢迎各界用户体验从业者及学生投稿优质原创文章。投稿请关注UXRen社区公众账cnUXRen(上面有二维码)留言“我要投稿”,小编会及时与您取得联系。

版权声明:除转载文章外,本站所有文章版权归UXRen社区所有,转载请注明出处:UXRen社区,并保留本站原文链接地址。本站部分文章来自互联网及公开渠道,如有侵权请及时联系我们。邮箱:contact@13tech.com.cn

原创文章,作者:震天下,如若转载,请注明出处:https://www.iamue.com/21033/

(0)
震天下震天下
上一篇 2017-08-07
下一篇 2017-08-07

相关推荐

  • 交互说明标注工具合集

    最近很多同学在问交互原型里里的标注怎么做的? 其实很多原型工具可以做到例如Axure、justinmind,但是做起来比较慢且不美观。有没有专业的工具呢?这不我们介绍几款常见的产品。   Specctr 首先是由 Onpixel …

    2016-04-06
  • 内容为王的时代,阿里设计师用实战案例解读内容化设计!

    作者:阿里设计师   编者按:什么是内容化设计?设计师为什么要关注内容?如何通过设计的手段提高内容体验?阿里设计师用一个手淘的实战案例,帮你掌握内容化设计的精髓!   前言 如果说好的产品是运营出来的,那么…

    交互专题 2017-08-07
  • 交互设计的综合性——后APP时代交互设计师的主场

    作者:司马西   1. 后APP时代-用户时间的争夺战 近几年来,移动互联的普及,各大厂商为了抢占市场激烈竞争。然而硝烟散去,我们统计并回视移动互联网的App世界,各大行业(包括:新闻、游戏、餐饮、医疗、教育、金…

    交互专题 2017-08-07
  • 帮UX新人摸清用户体验设计各岗位的典型特征【UXRen译#172】

      作者:Christian Beck  |  翻译:小蟹,校审:Duke   当我面试刚从学校毕业的准设计师时,我总是问他们:“当你被指派到一个新的项目时,你希望做哪一部分的工作,哪一部分的工作又是你心里祈祷别人会做的?” 众所…

    交互专题 2017-08-07
  • 【UXRen原创】一款金融股单APP的设计之路

    作者: 股单小分队 @ 国信证券的产品设计中心   一、交互设计的那些事 许多朋友问我:你大学学的专业不是工业设计吗?都是做产品造型的呀,现在怎么跑去证券公司做交互了? 相信许多做交互设计的朋友和都会遇到这样…

    交互专题 2017-08-07
  • 交互设计师的60日计划之第七天

    心情由好转糟,由糟转好的一天。 20150803 每次跟老大过方案都深深的意识到自己的不足上周基本已经敲定的方案等这周老大回来拍板,跟老大一过就是一堆问题。你的交互稿是要怎么看?跳转关系是怎么样的?这个图文混…

    交互专题 2015-08-20
  • 【UXRen原创】杀死转化率的 4 大 UX 错误

    作者:Sean Ellis   译者:吆喝科技   本文编译自 Sean Ellis 所撰写的《UX mistakes that are killing your conversions 》 ,作为资深交互设计师, Sean Ellis 谈论 UX 在转换率优化的重要性。Sean Ellis 是 Qual…

    交互专题 2017-08-07
  • 线上讲座 | 送你一份全新的交互设计指南ヾ(゚∀゚ゞ)

    ▲ 向左滑动查看更多导师作品摘要:上期Designer Talk 我们邀请到的UI设计师Coraline,以“对现代科技发起交互”为媒介,来传达她所创作的艺术呈现,不知道同学们有没有通过对非现场性艺术分享,使思想脱离理性范畴,继而进行创作性的探索与尝试。本期Designer Talk我们将借助符号性的语言,将碎片化的艺术凝结在一起,打破虚无与现实桎梏,为您呈现全新的交互设计。关键词:交互设计 / 当下全新的非完美呈现分享导师Jason本...

    2018-04-19
  • 2016年最值得关注的16个网页设计趋势

    设计趋势每年都在改变,出于各种原因,有的设计趋势在演进中逐渐消失,有的则在大家的熟练运用过程中渐入佳境,甚至逐步褪变成为主流。作为一个专注于网和平面设计的设计机构,我们对于所有相关的技术和设计趋势都…

    2015-12-23
  • 除了灵感,还有什么方法能帮你想出新的idea【UXRen译#174】

    作者: Mind Tools Editorial Team |  翻译:Chen Jing,校审:包子   “我们要 think differently!”“这个得有些新想法!”“我们要更有创意!”这些声音是否在你工作的场所越来越多? 面对复杂,开放和不断变化的挑战…

    交互专题 2017-08-07