复盘如何从搭建系统

　　本文笔者将对如何搭建一个ABtest系统做完整的回顾以及复盘。文章讲述内容包括：搭建ABtext过程中如何进行调研？如何将测试分层，制定衡量指标？以及，具体的业务流程和功能设计如何？
　　随着公司业务的发展，慢慢已经从做新功能，变成优化功能，至于怎么优化功能，精细化运营已经很难直观判断。尤其作为裂变增长组的PM，对公司现有砍价、助力、签到等工具的优化，尤其需要引入ABTest这种科学的评估工具。
　　所以，第一时间收到要从0搭建一个ABTest系统以后，自己就很认真的投入进去。从需求调研到竞品分析，再到系统设计和功能设计，再到具体的产品设计、后台原型和需求文档，以及最后的首期ABTest上线并输出结果。
　　发现更换3个字的按钮文案后，取得了一个远超出预期的结果，按钮点击率从21直接提升到39。
　　以下是如何从零搭建一个ABTest系统的回顾和复盘：
　　一、ABTest
　　1。什么是ABTest？
　　简单来说，就是归属于互联网行业的对照实现即通过设置实验组和对照组，参与单一变量法来评估两个组别的差距。自从2000年谷歌将其应用于互联网产品以来，逐步成为互联网精细化运营的必备方法。
　　简单来说，就是就是在产品正式全面迭代之前，为同一个目标制定不少于两个的方案，将用户分流至对应方案内，在保证每组用户特征相同的前提下，根据用户的真实数据反馈，帮助产品决策。
　　ABTest的具体介绍个人认为VWO的写的最好，参考：WhatIsABTesting？
　　2。ABTest解决什么问题？
　　对一个产品设计，已经能难直观判断是否真的是优化，这个改变，可能是文案的优化、按钮的颜色、界面的布局或者功能的迭代，也可能是推荐算法。
　　ABTest可以辅助设计者通过实际用户的使用反馈，来确定到底哪个方案更优。
　　3。什么是一个好的AB测试？
　　有明确的测试目标：【立即参加】和【加入学习】哪个文案转化率更好？
　　有清晰的衡量标准：订单转化率按钮点击率。
　　有精确的测试结果：如【立即参加】和【加入学习】，点击率在90的置信区间内没有差别？
　　二、调研
　　作为一个PM，收到要搭建一个ABTest系统的时候，最先想到要做的就是调研，既包括竞品调研（第三方ABTest供应商），也包括需求调研（需求场景、目标用户）。
　　1。竞品调研
　　主要调研了3个ABTest解决方案供应商，2个国内，1个国外，分别是：吆喝科技、Testing和VWO。
　　大概了解了ABTest的系统构成和功能设计，这部分可以直接搜索对应的公司官网，体验DEMO。不过很遗憾，因为公司业务的去中心化的特点，无法直接使用一些成熟的第三方服务。
　　2。需求调研
　　目标用户：