11.3 测试策略与数据
前两节讲了三种「还没买就能玩」的形态,这一节回答「这些测试形态拿什么数据判断成不成功」。Playtest 收集手感、Demo 收集转化、免费周末收集活跃,但所有这些最终都要落到数据模型上。Steam 侧提供聚合统计通道(RequestGlobalStats/GetGlobalStat),测试的结论则来自工程自己的埋点漏斗。本节讲怎么把「一堆事件」组织成「一个可判定的发布信号」。
本卷所有接口口径以 Steamworks SDK v1.65(2026-07-23) 为准。本节摘录的签名对照该版本 public/steam/isteamuserstats.h。
本章与站内既有内容的分工
- Steam 发行专题 (操作手册)讲「后台看商店转化与愿望单数据」;本节讲「工程侧的测试埋点模型与就绪判定」。
- 卷一《平台机制与商店》讲商店与发行商机制;本节把「数据结论」落成漏斗/留存/崩溃率口径。
- lab 用纯 C++ 复现数据聚合与就绪判定,不依赖 Steam 客户端运行。
全局聚合统计:RequestGlobalStats / GetGlobalStat
Steam 的聚合统计接口把「所有玩家的统计」聚合成全局值。SDK v1.65 的口径:
// isteamuserstats.h:ISteamUserStats 全局聚合(SDK v1.65 头文件摘录,已删减)
// Requests global stats data, which is available for stats marked as "aggregated".
// This call is asynchronous, with the results returned in GlobalStatsReceived_t.
// nHistoryDays specifies how many days of day-by-day history to retrieve in addition
// to the overall totals. The limit is 60.
STEAM_CALL_RESULT( GlobalStatsReceived_t )
virtual SteamAPICall_t RequestGlobalStats( int nHistoryDays ) = 0;
// Gets the lifetime totals for an aggregated stat
STEAM_FLAT_NAME( GetGlobalStatInt64 )
virtual bool GetGlobalStat( const char *pchStatName, int64 *pData ) = 0;
工程语义:
- 只有标记为「aggregated」的统计才有全局值:后台配置里把某条统计标成聚合,它才出现在全局口径里。工程侧别用
GetGlobalStat查没配聚合的统计——会拿不到值。 RequestGlobalStats(nHistoryDays)是异步拉取:结果经GlobalStatsReceived_t回调返回;nHistoryDays指定额外取多少天的逐日历史,上限 60 天(头文件注释明文 “The limit is 60”)。先请求、等回调、再GetGlobalStat读值,顺序不能反。- 全局值是「总和」,不是「平均」:
GetGlobalStat返回 lifetime totals——所有玩家的累加。做「平均时长」要自己再除以活跃用户数,聚合统计不替你除。
测试数据模型:会话事件与漏斗
测试结论来自工程自己的埋点。把事件组织成可判定的模型,核心是三段:
// 模型:测试埋点聚合(对应工程侧事件表,非 SDK 头文件)
// 事件流:按用户记录 install / first_launch / reach_level3 / crash
// 漏斗:某事件至少发生一次的用户数 / 上一层用户数
// 就绪门禁:崩溃率 < 5% 且首启样本 >= 阈值(模型假设)
工程语义:
- 事件按用户聚合,漏斗按事件层算:
countUsersWith(event)统计「该事件至少发生一次的用户数」;漏斗转化 = 下一层用户数 ÷ 上一层用户数。以用户去重是漏斗的底线——同一个人触发十次只算一次。 - 崩溃率用「用户」分母,不用「次数」分母:崩溃率 = 崩溃用户数 ÷ 首启用户数。用崩溃次数做分母会被同一个反复崩溃的玩家放大,结论失真。
- 就绪判定要同时看质量与样本:崩溃率低但样本只有几个人,不构成发布信号。
launchReady先查样本是否够阈值,再查崩溃率是否达标——两个条件缺一不可。 - 次日留存是另一个独立信号:
day1 = 第 0 天活跃且第 1 天回归的用户 ÷ 第 0 天活跃用户。留存和崩溃率回答不同问题——崩溃率回答「能不能玩」,留存回答「想不想再来」。测试阶段两个都要看。
发布就绪判定:把数据变成决定
测试数据的终点是「发不发」。就绪判定要写成可解释的规则,而不是拍脑袋:
// 模型:发布就绪门禁(对应测试结论的量化口径,非 SDK 头文件)
// ready = 首启样本 >= minSample && 崩溃率 < 5%
工程语义:
- 阈值是模型的,逻辑是通用的:5% 崩溃率、最小样本这些具体数字是模型假设,运营可以改;但「样本不足不动、崩溃率超标不动」的逻辑不能丢。lab 里
total == 0返回 false 表达的正是「没数据不下结论」。 - 就绪判定不只看崩溃:Demo 转化的一个完整判定还包含留存与付费意愿,但接入工程至少要把「技术可发布」和「市场该发布」分开——崩溃率/留存回答前者,转化率回答后者。
- 全局值做长期趋势,埋点做即时判定:
RequestGlobalStats的 60 天历史适合看趋势;测试当天的即时判定靠工程埋点实时算。两者分工,不要互相替代。
接口签名对照
| 头文件 | 条目 | 语义 |
|---|---|---|
isteamuserstats.h | ISteamUserStats::RequestGlobalStats | 异步拉取全局聚合统计(nHistoryDays ≤ 60) |
isteamuserstats.h | GlobalStatsReceived_t | 全局统计请求结果回调 |
isteamuserstats.h | ISteamUserStats::GetGlobalStat | 读聚合统计的 lifetime total |
| —(模型) | 事件漏斗 / 次日留存 / 崩溃率 | 工程埋点的判定模型 |
| —(模型) | 发布就绪门禁 | 样本 + 崩溃率的量化规则 |
数据口径与来源
RequestGlobalStats/GlobalStatsReceived_t/GetGlobalStat签名与 60 天上限注释:SDK v1.65public/steam/isteamuserstats.h可实证(本机镜像已核对)。- 「aggregated」标记要求、聚合统计的后台配置方式:partner 文档登录后可见,以官方当前为准。
- 5% 崩溃率阈值、最小样本数、10% 转化量级:模型假设,不作为官方数值;实际以自身运营数据为准。
以上接口口径撰写时对照 Steamworks SDK v1.65 头文件与 partner.steamgames.com 官方文档核对;登录后可见数据以官方当前为准。
可运行产物:C++ 最小验证
下面的仿真复现「测试策略与数据」的工程语义:会话事件按用户聚合、漏斗转化计算、崩溃率用用户分母、次日留存、发布就绪门禁(样本 + 崩溃率双条件)、全局聚合统计单调累加。它与 src/11-3-test-strategy-data.cpp 逐字节一致,mock 接口签名对照 SDK v1.65 头文件:
// file: src/11-3-test-strategy-data.cpp
// tier: L1
// verify: clang++ -std=c++20 -Wall -I. src/11-3-test-strategy-data.cpp -o bin/11-3-test-strategy-data && ./bin/11-3-test-strategy-data
//
// mock:复现测试策略与数据回收——会话事件的漏斗聚合、留存、
// 全局聚合统计(对应 ISteamUserStats::RequestGlobalStats / GetGlobalStat 口径)
// 与「发布就绪」判定。所有数值为模型假设,非 Valve 实现。
#include "verify.h"
#include <cstdint>
#include <unordered_map>
namespace steam_repro {
class MockTelemetryModel {
public:
enum Event { kInstall = 0, kFirstLaunch = 1, kReachLevel3 = 2, kCrash = 3 };
// 按用户记录事件流(事件序列)
std::unordered_map<uint64_t, std::unordered_map<int, uint32_t>> userEvents_;
std::unordered_map<uint64_t, uint32_t> day0Users_;
uint32_t day1Returns_ = 0;
// 记录一次事件
void record(uint64_t user, Event e) { ++userEvents_[user][static_cast<int>(e)]; }
void setDay0(uint64_t user) { day0Users_[user] = 1; }
void markReturned(uint64_t user) {
if (day0Users_.count(user)) ++day1Returns_;
}
// 漏斗:某事件至少发生一次的用户数
uint32_t countUsersWith(Event e) const {
uint32_t n = 0;
for (const auto& kv : userEvents_) {
auto it = kv.second.find(static_cast<int>(e));
if (it != kv.second.end() && it->second > 0) ++n;
}
return n;
}
double crashRate() const {
uint32_t crashes = countUsersWith(kCrash);
uint32_t launches = countUsersWith(kFirstLaunch);
return launches == 0 ? 0.0 : static_cast<double>(crashes) / launches;
}
double day1Retention() const {
if (day0Users_.empty()) return 0.0;
return static_cast<double>(day1Returns_) / day0Users_.size();
}
// 发布就绪判定:崩溃率 < 5% 且样本 >= 阈值(模型假设)
bool launchReady(uint32_t minSample) const {
uint32_t launches = countUsersWith(kFirstLaunch);
if (launches < minSample) return false;
return crashRate() < 0.05;
}
// 全局聚合统计:模拟 ISteamUserStats::GetGlobalStat 的 lifetime total
uint64_t totalPlayMinutes_ = 0;
void addPlayMinutes(uint64_t m) { totalPlayMinutes_ += m; }
uint64_t getGlobalStat() const { return totalPlayMinutes_; }
};
} // namespace steam_repro
int main() {
using namespace steam_repro;
MockTelemetryModel t;
// 1. 初始为空
CHECK(t.countUsersWith(MockTelemetryModel::kFirstLaunch) == 0);
CHECK(t.crashRate() == 0.0);
// 2. 5 个用户:安装 + 首启
for (uint64_t u = 1; u <= 5; ++u) {
t.record(u, MockTelemetryModel::kInstall);
t.record(u, MockTelemetryModel::kFirstLaunch);
t.setDay0(u);
}
// 3. 3 个到达 3 级
for (uint64_t u = 1; u <= 3; ++u) {
t.record(u, MockTelemetryModel::kReachLevel3);
}
CHECK(t.countUsersWith(MockTelemetryModel::kInstall) == 5);
CHECK(t.countUsersWith(MockTelemetryModel::kFirstLaunch) == 5);
CHECK(t.countUsersWith(MockTelemetryModel::kReachLevel3) == 3);
// 4. 漏斗转化:5 → 3
CHECK(t.countUsersWith(MockTelemetryModel::kReachLevel3) == 3);
CHECK(static_cast<double>(t.countUsersWith(MockTelemetryModel::kReachLevel3)) /
t.countUsersWith(MockTelemetryModel::kFirstLaunch) ==
0.6);
// 5. 崩溃率:0 崩溃 → 0%
CHECK(t.crashRate() == 0.0);
CHECK(!t.launchReady(10)); // 样本不足
// 6. 有崩溃:1 崩溃 / 5 首启 = 20% → 不就绪
t.record(5, MockTelemetryModel::kCrash);
CHECK(t.crashRate() == 0.2);
CHECK(!t.launchReady(10));
// 7. 修复后再来 16 个干净用户 → 崩溃率 < 5%(1/21),样本足够
for (uint64_t u = 10; u <= 25; ++u) {
t.record(u, MockTelemetryModel::kInstall);
t.record(u, MockTelemetryModel::kFirstLaunch);
}
CHECK(t.crashRate() < 0.05);
CHECK(t.launchReady(10));
// 8. 全局聚合统计单调累加
t.addPlayMinutes(60);
t.addPlayMinutes(30);
CHECK(t.getGlobalStat() == 90);
// 9. 次日留存:5 个 day0,2 个回归
t.markReturned(1);
t.markReturned(2);
CHECK(t.day1Retention() == 0.4);
// 10. 留存率在 [0,1] 范围
CHECK(t.day1Retention() >= 0.0 && t.day1Retention() <= 1.0);
return lab::report("11-3 测试策略与数据");
}
本机实测(Apple clang 16,clang++ -std=c++20 -Wall):编译通过(零警告),断言 16/16 通过。
小结
- Steam 聚合统计走
RequestGlobalStats(nHistoryDays ≤ 60)→GlobalStatsReceived_t→GetGlobalStat,只有标记 aggregated 的统计才有全局值。 - 测试埋点按用户聚合算漏斗:事件去重、崩溃率用用户分母、留存独立统计。
- 发布就绪 = 样本达标 且 崩溃率达标,两个条件缺一不可;没数据不下结论。
- 全局值看长期趋势,工程埋点看即时判定,两者分工不互相替代。
阅读导航:上一节:11.2 Demo 与试玩 · 下一节:12.1 回调机制 。
继续阅读
探索更多技术文章
浏览归档,发现更多关于系统设计、工具链和工程实践的内容。