iOS 支付失败优化 A/B 实验

一、项目背景

iOS 用户在 App 内购买会员时，可能因为支付取消、支付失败、网络异常或支付链路中断而没有完成交易。这部分用户已经表现出较强的购买意愿，如果没有后续承接，就会形成直接的收入流失。

本项目希望回答一个核心问题：当用户发生 iOS 支付失败后，通过新的承接方式，能否召回用户并提升最终购买转化，同时不损害整体收入和用户体验？

项目设计了两条独立的优化路径：

1. 引导实验：支付失败后，在产品内引导用户前往站外或 H5 收银台继续购买。
2. 短信实验：支付失败或取消后，向用户发送无需登录即可继续购买的召回短信。

实验覆盖 2023 年 3 月 4 日至 3 月 21 日的 iPhone 用户。

二、实验目标与假设

2.1 业务目标

• 降低 iOS 支付失败带来的订单流失。
• 提升支付失败用户的后续购买人数、订单量和收入。
• 验证新增购买是否为真实增量，而不是从原有 IAP 支付迁移到其他支付方式。
• 控制连包解绑、支付费率和用户打扰等潜在负面影响。

2.2 核心指标

主效果指标

• 支付失败后归因购买 UV。
• 支付失败后归因购买订单量。
• 支付失败后归因购买收入。

大盘指标

• 大盘购买人数。
• 大盘购买订单量。
• 大盘购买收入。
• 整体购买转化率。

护栏指标

• IAP 与非 IAP 购买指标。
• 连包解绑率。
• 支付渠道费率成本。
• 短信退订、投诉和发送成本。

2.3 关键指标口径

归因购买

归因购买是指用户发生 iOS 支付失败或取消后，在预先约定的归因窗口内完成、并能够通过 userid 与该次失败事件关联的后续购买。

• 记录用户的支付失败时间、实验分组以及后续成功订单。
• 在控制组和实验组使用相同的归因窗口与订单口径；例如可以把失败后的 24 小时设为主窗口，同时观察 1 小时和 7 天窗口。
• 归因购买 UV 是符合规则的去重购买用户数，归因订单量是这些用户的订单数，归因收入是这些订单产生的收入。
• 主效果分析必须遵循 ITT，不能只统计点击引导或短信的用户；点击后的漏斗只能用于解释作用机制。

现有材料没有记录原实验实际采用的精确归因窗口和完整 SQL，因此 24 小时是下一轮建议口径，不应当被当作原实验的既有事实。归因指标还必须与大盘购买人数和收入共同判断，避免把支付渠道迁移误认为新增购买。

IAP 购买人数

IAP（In-App Purchase）购买人数是通过苹果应用内购买完成付费的去重用户数。用户直接在 iPhone App 内通过苹果支付购买会员时计入 IAP；经 H5、网页或其他站外渠道付款时计入非 IAP。

同一用户购买多次，购买人数通常仍按 1 人计算，而订单量可能是多单。该指标用于判断实验是否只是把用户从苹果支付迁移到了站外支付：如果非 IAP 购买增加、IAP 购买等量下降，而整体购买人数和收入没有增加，则更可能是渠道迁移，而不是真正的新增购买。

连包解绑率

连包解绑率通常指开通连续包月、连续包季等自动续费产品后，在指定观察期内取消自动续费或解除续费支付关系的用户比例。

统计时必须统一观察窗口，例如购买后 7 日或 30 日解绑率。购买转化提高但解绑率显著上升，可能意味着短期订单增加而长期续费价值下降。解绑通常只是关闭后续自动续费，不代表当前已购买的会员立即失效。

2.4 原假设与备择假设

两个子实验分别进行检验：

• 原假设 H0：实验组与控制组在支付失败后的归因购买率、归因收入和整体购买指标上没有差异。
• 备择假设 H1：实验组的支付失败归因购买率或归因收入高于控制组，同时整体购买和用户体验护栏没有明显恶化。

统计显著性水平采用 $\alpha=0.05$。除了判断 p 值，还需要结合提升幅度、绝对增量、成本和护栏指标做业务决策。

三、抽样与分桶

3.1 实验对象

目标人群为满足购买资格且发生 iOS 支付失败或支付取消的 iPhone 用户。

3.2 随机化单位

建议以 userid 作为随机化单位，同一用户在整个实验期间固定进入同一个桶，避免用户多次触发时看到不同策略。

3.3 分桶方案

两个子实验均包含控制组和实验组：

实验材料中的用户分布约为 49.99% 和 50.01%，整体上较为均衡。正式实验中还应执行以下检查：

• 上线前进行 A/A 测试，验证分桶和指标采集是否正常。
• 每日进行 SRM 检验，确认实际流量没有异常偏离 50:50。
• 两个子实验应保持互斥，或采用预先设计的 2×2 因子实验，避免同一用户同时受到引导和短信影响。
• 采用 ITT 原则：用户一旦入组，就按照原分桶进行分析，不能只分析实际点击引导或短信的用户。否则观察到的高购买率也可能只是因为高意愿用户更容易点击。

SRM 保证随机分桶被正确执行，互斥或因子设计保证多个实验不会相互污染，ITT 保证分析阶段不破坏最初的随机化。三者分别对应实验分流、实验执行和结果分析，是保证 A/B 实验可信度的关键控制点。

3.4 样本量计算

A/B 实验应在上线前，根据唯一主指标估算所需样本量，避免样本不足导致真实效果无法被识别，也避免实验运行中反复查看结果、达到显著后提前停止。

通用计算步骤

1. 选择主指标，例如支付失败后的购买转化率；收入等高波动指标可以作为次要指标或护栏指标。
2. 用历史数据估计基准水平 $p_1$ 或标准差 $\sigma$。
3. 设定最小可检测效应 MDE。转化率要明确是绝对提升还是相对提升：例如从 10% 提升到 11%，绝对提升为 1 个百分点，相对提升为 10%。
4. 设定显著性水平 $\alpha$ 与检验功效 $1-\beta$。常用设置为双侧 $\alpha=0.05$、功效 80%，对应 $z_{1-\alpha/2}=1.96$、$z_{1-\beta}=0.84$。
5. 计算每组样本量，再考虑流失、无效曝光、分层或聚类造成的膨胀。

比例类指标：两独立样本转化率

设控制组转化率为 $p_1$，实验组希望检测到的转化率为 $p_2$，$\bar p=(p_1+p_2)/2$。两组等比例分流时，每组所需样本量可近似为：

如果业务只关心“实验组是否提升”且事先明确采用单侧检验，可将 $z_{1-\alpha/2}$ 换成 $z_{1-\alpha}$；不能在看到结果后再把双侧改成单侧。

示例

假设历史购买转化率为 10%，希望至少检测到绝对提升 1 个百分点，即从 10% 提升到 11%；采用双侧 $\alpha=0.05$、功效 80%、50:50 分流。代入公式后，每组约需 14,700 名有效入组用户，两组合计约 29,400 名。

若预计 10% 的用户因数据缺失或资格异常而无法进入有效分析，则：

其中 $r$ 为预计损耗率。按 10% 损耗计算，每组约需 16,400 名，两组合计约 32,800 名。

连续型指标：人均收入等均值指标

若主指标是人均收入等连续变量，历史标准差为 $\sigma$，希望检测的均值差为 $\Delta$，两组等比例分流时，每组样本量近似为：

收入通常长尾且方差较大，正式计算应优先使用用户级历史数据，通过方差缩减、稳健统计或模拟估算样本量，不能直接套用转化率公式。

从样本量换算实验时长

若每天预计有 $N_{daily}$ 名符合资格的用户进入实验，两组等分，则理论最短天数为：

最终时长还应至少覆盖一个完整业务周期，并预留周末效应、流量波动、归因窗口和数据回流时间。

四、实验方案与执行

4.1 子实验一：站外购买引导

用户链路

支付失败 → 展示站外购买引导 → 用户进入 H5 或站外收银台 → 完成支付。

实验组改动

当用户发生 iOS 支付失败后，增加清晰的站外购买入口，帮助用户继续完成交易。

需要采集的事件

• 支付失败事件及失败原因。
• 引导曝光和点击。
• H5 收银台访问。
• 支付成功用户、订单和收入。
• 支付方式、解绑和退款信息。

该方案的优势是承接及时，用户仍处于较强的购买意图中；风险是可能打扰用户，或只是把原本会通过 IAP 支付的用户迁移到站外渠道。

4.2 子实验二：短信召回

用户链路

支付失败或取消 → 发送召回短信 → 用户点击短信链接 → 进入无需登录的收银台 → 完成支付。

实验组改动

对符合条件的支付失败用户发送召回短信，通过低操作成本的购买链接承接用户。

需要采集的事件

• 短信发送、送达和点击。
• H5 收银台访问。
• 支付成功用户、订单和收入。
• 发送成本、退订和投诉。

该方案可以召回已经离开 App 的用户，但购买意图会随时间衰减，而且需要控制短信频率和用户打扰。

4.3 实验运行规则

• 实验至少覆盖一个完整自然周，避免工作日和周末结构差异；本次实际运行 18 天。
• 实验开始前确定归因窗口，例如支付失败后的 24 小时作为主窗口，同时观察 1 小时和 7 天窗口作为稳健性分析。
• 不根据逐日波动提前停止实验，避免反复查看数据产生假阳性。
• 每日监控分桶比例、事件上报、版本覆盖、短信发送异常和收入异常，但不依据短期显著性调整流量。

五、结果分析

5.1 引导实验结果

引导方案对支付失败后的直接召回效果非常明显：

结果解释

引导方案证明了产品链路本身有效：支付失败后给用户一个继续购买的入口，确实可以显著增加被归因到失败召回链路的购买。

但归因购买的增长没有在实验期内转化为统计显著的大盘购买增长。这意味着新增订单中可能包含一部分支付渠道迁移，或者归因指标规模相对大盘仍然较小。因此不能仅凭归因指标显著，就直接判断整体收入获得了同等幅度的增量。

5.2 短信实验结果

短信方案也带来了一定召回效果，但效果明显小于即时引导：

结果解释

短信可以召回一小部分用户，但它对归因收入和大盘指标都没有产生显著提升。IAP 购买人数还出现了临界负向信号，说明短信可能更多改变了支付渠道，而非创造真正的新增购买。

由于本项目同时观察了多个指标，短信归因 UV 和订单的 p 值只属于“名义显著”。进行多重检验校正后，结论可能进一步减弱。因此短信方案不适合直接全量上线。

5.3 两种方案对比

六、实验结论与后续建议

6.1 当前结论

1. 站外购买引导是更值得继续投入的方案。 它显著提升了支付失败后的归因购买，但仍需更大样本和用户级分析确认是否产生真实的大盘增量。
2. 短信方案不建议直接全量。 它只有小幅召回效果，没有证明收入增长，同时存在 IAP 购买下降的风险信号。
3. 两个方案不能简单叠加效果。 如果先展示引导，再给未完成用户发送短信，需要通过新的互斥多臂实验或 2×2 因子实验估计单独效应和组合效应。

6.2 下一轮实验设计

可以采用三臂互斥实验：

• C：原支付失败流程。
• T1：仅站内引导。
• T2：先站内引导，对仍未完成支付的用户发送短信。

如果希望同时估计两个方案的独立作用和交互作用，也可以采用 2×2 因子设计：

下一轮需要重点补充：

• 用户级入组、曝光和支付明细。
• 明确的 24 小时主归因窗口。
• 短信送达、点击、退订、投诉及发送成本。
• 退款、7 日或 30 日解绑等长期护栏。
• 用户级置信区间和多重检验校正。
• 净收益分析：增量收入减去渠道费、短信费和退款成本。

只有当主指标显著正向、提升幅度达到业务要求、护栏不劣且净收益为正时，才建议进行全量上线。

七、数据说明与限制

现有材料主要是按日期、实验桶和支付方式汇总的数据，原结果使用日级序列进行 t 检验。该结果适合用于判断方向，但正式因果推断最好基于用户级数据重新计算。

此外，原分析文件存在模板文案和日期残留、部分费率公式引用异常、两个子实验部分链路指标重复等问题。因此本文保留能够相互核对的核心实验结果，对费率节省和重复链路指标不作强结论。