引言：edwin是微信最初10员工之一，有丰富的后台开发经验，加入团队后承担了微信用户平台实验系统的研发工作。数据能力和实验能力是运营的基础，他带领几位从终端转岗到后台开发的同学，为用户体验运营奠定核心基础能力。看看他是怎么思考用户体验运营这件事情的，分享给大家。
----------
这是一个充满想法的年代，这是一个互联网+大数据的时代。要做好用户体验运营，任何猜想，任何策略，任何变更以及优化，均需以数据说话。我们的宗旨就是应用各种技术手段，配合大数据分析，以提高微信用户的体验。本文将简要介绍实验系统如何应用于微信用户体验运营。
近期，电影《煎饼侠》那么卖座，有多少因素是因为屌丝男观众喜欢柳岩而去电影院观看的呢？柳岩在电影中起的作用占比多少？如果换成志玲姐姐，票房又会有多大变化？（允许我脑洞大开乱想一通）。现实生活中有很多类似的猜测（相同的场景不同的因素会导致出现不同的结果），但种种的猜想却因实验成本太高而导致无法实施。与此不同的是，现在我们的产品是处于互联网环境下，很多想法是可以基于实验系统进行大胆尝试。
在互联网环境下，一个产品的前期或许可以依靠头脑风暴最终拍定一个方案开始执行。尽管如此，最终的方案也不一定就是最好的方案。更何况当一个产品或者团队规模发展到成熟阶段，想要在短时间内让大家拍出一致的“最优”方案难度更大。微信内部有才华的人很多，无论是产品还是开发，每个人都有自己的思想和见解。所以，在微信内部因为产品角度或者技术角度引起“争吵”实属常事。据闻在facebook内部也是提倡这样的文化“我可以很尊敬你，但是我不同意你的想法”。facebook首位华人工程师赵海平在总结内部软件系统时，提到facebook功能性的代码可能有20%、30%，但还有40%左右的代码是帮助这百分之二三十去分流实验，搜集结果数据，去验证它好还是不好，可见实验系统在facebook内部发挥着重要的作用。
任何的猜想，任何的策略均需以数据说话，微信实验系统正是这么应声而出。互联网遵循的一个思维就是小步快跑，快速迭代。而微信实验系统可以为快速迭代提供分流试错、灵活的灰度以及回退（产品策略或者技术方案）、结果对照分析等能力；
下面将以几个角度分析下实验系统在用户体验运营中的作用。
一、利用“后台大数据+实验系统”优化产品策略：
我们可以利用后台大数据，针对每个用户使用习惯的不同，下发不一样的产品策略到各个用户。譬如微信支付时，究竟需要弹出支付方式选择框，还是直接让用户输入密码支付？两种产品策略的优劣是仁者见仁智者见智。此时我们可以利用实验系统，对不同人群进行不同的实验分流。利用最终的实验数据，判断哪种策略较佳。譬如经常喜欢换卡来进行支付的用户，我们可以在后台对选卡的顺序列表进行不一样排序给到用户选择（依靠实验分流不同用户选择不同排序算法，可以是按使用频率排序，也可以是按LRU算法排序）；而对于只有一张卡又或者基本只使用同一张卡支付的用户可以让其略过支付方式选择框的流程，直接密码支付。通过实验对比，选择有效的方案，减少支付步骤降低用户的支付耗时，从而提高用户体验。
二、应用“在线模型+实验系统”来提高用户体验：
我们一直鼓励原创，但是殊不知很多原创性的东西依然还是有人反感，譬如心灵鸡汤、自拍、晒娃、深夜发美食等等。尽管是原创性东西，也没有绝对的好与坏之分。要做好用户体验运营，绝不能一刀切，要看具体的受众对象个人口味。
其实，我们可以根据用户平时的浏览阅读习惯，控制不同类型的feed在他们朋友圈里展现形式，譬如不喜欢心灵鸡汤的可以尝试把内容折叠，不喜欢晒娃晒吃的，可以后台提高缩略图压缩比（不喜欢意味着用户点击查阅大图的概率较低）。这些种种的策略背后都有各种模型&参数在控制引导，这里用户+feed上下文（包括发表好友以及内容）+模型+参数的四元匹配，可以有很多种解。我们可以利用实验系统进行分流比对，最终找出让输出最大化的解。
三、应用“大胆猜想+实验系统”来验证猜想得出结论：
我们可以根据不同用户群体，控制他们在朋友圈看到的好友评论与赞的情况，进而来研究经典的social influence和homophily对朋友圈的影响情况。又或者，现在的朋友圈长文本会被自动折叠，或许我们可以尝试将恶意刷屏的长评论也进行折叠呢？效果如何，可以采用实验的手段，分群体观察。实际上我们已经利用实验系统，做过朋友圈微商实验、广告unlike在线实验等，并得出一些初步的研究成果。
微信实验系统是一个载体，贯穿整个微信系统架构。从客户端、微信接入端、逻辑后台、甚至第三方业务，都能见到实验系统的身影。微信实验系统目前还处在融合阶段，但已经有各个业务团队逐渐接入进来，这包括游戏中心、朋友圈广告、朋友圈feed实验条、微信表情、扫商品、卡包等等等等。
微信实验系统支持前端实验+后端实验，样本抽样算法支持PV/UV模式，支持复合多层实验（解决流量饥饿问题），支持流量自主回收等等特性，但篇幅原因均不再此一一展开，相关的技术细节，将会放在公司内部的四点一课上和大家分享交流，届时期待大家的参与。
开发实验系统是一个从0到1的过程，结合微信内部强大的业务开发团队，这将实现从1到100，甚至上千上万的伟大壮举。所以，我们后面还有很长的路要走。如果有专业团队有任何有意思的想法，都请随时联系啃饼们，大家一起探讨下未来的思路。当然，如果你也想在用户体验运营上做些有意义的事，欢迎加入我们一起挖掘。
一股强烈的实验文化以及数据文化正悄悄在WXG内部蔓延，你感觉到了吗？
原创文章，作者：ioued，如若转载，请注明出处：https://www.iamue.com/14314/
