10大A/B测试该做与不该做的注意事项
为了提升Email成效,将收信母体分群组,做A/B测试是很常见的事,无论是测试标题、信件内容、族群..等,没有什么方法是比做A/B测试来得快又清楚,如果你对A/B测试不熟,没关系,以下我们列出10项该做与不该做的事情,导引你将A/B 测试做得更好!
1. 经常做测试,确保信件效益成长曲线
如果你有操做过A/B测试,你可能会知道,信件里有太~多~太~多可以测试的东西了,什么意思?信件标题、影片、信件内容偏好...等,都是可分析顾客行为的测试项目,但千万别过度分析,就是即使你知道了你的顾客有这些习性,但对你的营销活动并不会带来任何影响,这样的分析就没那么必要!简而言之,在做A/B测试以前,先搞清楚你的目的,这些实验都必须要有意义,去挖掘你的受众特性,记得!要有耐心!A/B测试是一门科学,更是一门艺术!
2. 不要测试一年只发送一次的E-mail元素
一年内可能会发几次节日性质或活动性质的E-mail,虽然提供了让你测试顾客喜好的机会,但事实上你没必要在一年只发一次的E-mail例如圣诞节贺卡,去调整雪花图案的大小看顾客喜欢什么,你应该更着重测试会对企业带来巨大影响的元素,或许测试的元素很平凡,但长期看来可能都是会影响Email活动的重要元素。
3. 像一个科学家一样的测试
你还记得你小时候念化学的时候,做实验的时候要注意什么吗?做实验前会先拟控制因素、可变因素以及假设性结果,请确保在做A/B测试的时候,这些因素你都有控制好,例如先产生一个A实验组,而B对照组跟A十分相近,但只差了一个因素。假如你测试的是标题长度,以下是不良示范:
A:朋友们,快来采取行动!
B:T-Shirts现在特价$4.99美元,别错过了!
这两个不只长度不一样,连目的跟内容也都不一样,而调整后的示范如下:
A:快来抢购$4.99美元的T-shirts
B:快来抢购$4.99美元多样不同款式及颜色的T-shirts
一次测试一个因素就好,并确保母体是随机抽样。
4. 测试时间不要分开
维持所有的固定因素,在不同时间测试变数似乎看起来没有什么不行,所谓时间是这周跟下周的同一时间,但事实上,最好都在同一周,发信时就应该两者同时发送,结果较为准确。
5. 别被数据给迷惑了!
测试出来的数据常会令人迷惑,例如B组比A组低了5%的开信率,但点击率却比A组高了8%,测试结果是?B比较好吗?当然不能这样看,你必须分开看这些数据,如果你在乎的是开信率,那你应该想想你当初测试的目的是为了要改善开信率吗?如果是,才能确认是什么因素影响了,那如果你想测试的是内容,那你就要看看提高了的点击率,是否对入站后的行为有产生影响?!不管是浏览行为、停留时间..等,找出点击率提高的因素是什么!?
6. 别太早查看实验结果
做了实验当然就很希望看到结果,但如果你用的是现有的发信系统,数据都会在一段时间以后才会准确,最好察看结果的时间是在发信后的24小时以后,但如果你的对象是年轻人,可能时间要延长到48小时。
7. 请观察实际转换率
不要做没意义的测试,如何让你的测试更有意义?那就例如你发送了100,000封信,希望从中得到200张订单,你觉得应该要有多少新订阅户才能达成这个目标?
8. 不要对同一样本过度测试
你知道你的Email发送限制,如果你有25,000个订阅户,你可能不能在一周内就跑4个测试因素,所以请把样本切割,做出的实验数据也比较有意义,没有更快更方便的测试方法。
9. 根据你的实验结果做出实际改变
如果你已经从测试中获得肯定的数据,那就赶快把这项因素套用下去,如果CTA(Call to Action)的图片大小会影响CTR(点击率),那测试出来的结果你务必要调整,毕竟这会直接影响到销售,下次你可以试试看调整CTA的颜色、文字,看看会发生什么事,另一部分,也要同时汰换掉没有吸引力的商品图片。
10.别以为测试的结果是长久的
A/B测试是总是变化多端、不可预测的,没有一成不变的A/B测试结果,你不仅要测试一个因素很多次,因为环境因素与机会可能都会造成不同的结果,并且对于你的结果还要抱持着质疑,多试几次结果才会准确,每隔几个月或几年,都还需要再重新测试。