时间复杂度¶
运行时间可以直观且准确地反映算法的效率。如果我们想准确预估一段代码的运行时间,应该如何操作呢?
- 确定运行平台,包括硬件配置、编程语言、系统环境等,这些因素都会影响代码的运行效率。
- 评估各种计算操作所需的运行时间,例如加法操作
+
需要 1 ns ,乘法操作*
需要 10 ns ,打印操作print()
需要 5 ns 等。 - 统计代码中所有的计算操作,并将所有操作的执行时间求和,从而得到运行时间。
例如在以下代码中,输入数据大小为
根据以上方法,可以得到算法的运行时间为
但实际上,统计算法的运行时间既不合理也不现实。首先,我们不希望将预估时间和运行平台绑定,因为算法需要在各种不同的平台上运行。其次,我们很难获知每种操作的运行时间,这给预估过程带来了极大的难度。
统计时间增长趋势¶
时间复杂度分析统计的不是算法运行时间,而是算法运行时间随着数据量变大时的增长趋势。
“时间增长趋势”这个概念比较抽象,我们通过一个例子来加以理解。假设输入数据大小为 A
、B
和 C
:
// 算法 A 的时间复杂度:常数阶
function algorithm_A(n: number): void {
console.log(0);
}
// 算法 B 的时间复杂度:线性阶
function algorithm_B(n: number): void {
for (let i = 0; i < n; i++) {
console.log(0);
}
}
// 算法 C 的时间复杂度:常数阶
function algorithm_C(n: number): void {
for (let i = 0; i < 1000000; i++) {
console.log(0);
}
}
// 算法 A 的时间复杂度:常数阶
fn algorithm_A(n: usize) void {
_ = n;
std.debug.print("{}\n", .{0});
}
// 算法 B 的时间复杂度:线性阶
fn algorithm_B(n: i32) void {
for (0..n) |_| {
std.debug.print("{}\n", .{0});
}
}
// 算法 C 的时间复杂度:常数阶
fn algorithm_C(n: i32) void {
_ = n;
for (0..1000000) |_| {
std.debug.print("{}\n", .{0});
}
}
下图展示了以上三个算法函数的时间复杂度。
- 算法
A
只有 个打印操作,算法运行时间不随着 增大而增长。我们称此算法的时间复杂度为“常数阶”。 - 算法
B
中的打印操作需要循环 次,算法运行时间随着 增大呈线性增长。此算法的时间复杂度被称为“线性阶”。 - 算法
C
中的打印操作需要循环 次,虽然运行时间很长,但它与输入数据大小 无关。因此C
的时间复杂度和A
相同,仍为“常数阶”。
相较于直接统计算法的运行时间,时间复杂度分析有哪些特点呢?
- 时间复杂度能够有效评估算法效率。例如,算法
B
的运行时间呈线性增长,在 时比算法A
更慢,在 时比算法C
更慢。事实上,只要输入数据大小 足够大,复杂度为“常数阶”的算法一定优于“线性阶”的算法,这正是时间增长趋势的含义。 - 时间复杂度的推算方法更简便。显然,运行平台和计算操作类型都与算法运行时间的增长趋势无关。因此在时间复杂度分析中,我们可以简单地将所有计算操作的执行时间视为相同的“单位时间”,从而将“计算操作运行时间统计”简化为“计算操作数量统计”,这样一来估算难度就大大降低了。
- 时间复杂度也存在一定的局限性。例如,尽管算法
A
和C
的时间复杂度相同,但实际运行时间差别很大。同样,尽管算法B
的时间复杂度比C
高,但在输入数据大小 较小时,算法B
明显优于算法C
。对于此类情况,我们时常难以仅凭时间复杂度判断算法效率的高低。当然,尽管存在上述问题,复杂度分析仍然是评判算法效率最有效且常用的方法。
函数渐近上界¶
给定一个输入大小为
设算法的操作数量是一个关于输入数据大小
我们将线性阶的时间复杂度记为
时间复杂度分析本质上是计算“操作数量
函数渐近上界
若存在正实数
如下图所示,计算渐近上界就是寻找一个函数
推算方法¶
渐近上界的数学味儿有点重,如果你感觉没有完全理解,也无须担心。我们可以先掌握推算方法,在不断的实践中,就可以逐渐领悟其数学意义。
根据定义,确定
第一步:统计操作数量¶
针对代码,逐行从上到下计算即可。然而,由于上述
- 忽略
中的常数项。因为它们都与 无关,所以对时间复杂度不产生影响。 - 省略所有系数。例如,循环
次、 次等,都可以简化记为 次,因为 前面的系数对时间复杂度没有影响。 - 循环嵌套时使用乘法。总操作数量等于外层循环和内层循环操作数量之积,每一层循环依然可以分别套用第
1.
点和第2.
点的技巧。
给定一个函数,我们可以用上述技巧来统计操作数量:
以下公式展示了使用上述技巧前后的统计结果,两者推算出的时间复杂度都为
第二步:判断渐近上界¶
时间复杂度由
下表展示了一些例子,其中一些夸张的值是为了强调“系数无法撼动阶数”这一结论。当
表
操作数量 |
时间复杂度 |
---|---|
常见类型¶
设输入数据大小为
常数阶 ¶
常数阶的操作数量与输入数据大小
在以下函数中,尽管操作数量 size
可能很大,但由于其与输入数据大小
线性阶 ¶
线性阶的操作数量相对于输入数据大小
遍历数组和遍历链表等操作的时间复杂度均为
值得注意的是,输入数据大小
平方阶 ¶
平方阶的操作数量相对于输入数据大小
下图对比了常数阶、线性阶和平方阶三种时间复杂度。
以冒泡排序为例,外层循环执行
指数阶 ¶
生物学的“细胞分裂”是指数阶增长的典型例子:初始状态为
下图和以下代码模拟了细胞分裂的过程,时间复杂度为
在实际算法中,指数阶常出现于递归函数中。例如在以下代码中,其递归地一分为二,经过
指数阶增长非常迅速,在穷举法(暴力搜索、回溯等)中比较常见。对于数据规模较大的问题,指数阶是不可接受的,通常需要使用动态规划或贪心算法等来解决。
对数阶 ¶
与指数阶相反,对数阶反映了“每轮缩减到一半”的情况。设输入数据大小为
下图和以下代码模拟了“每轮缩减到一半”的过程,时间复杂度为
与指数阶类似,对数阶也常出现于递归函数中。以下代码形成了一棵高度为
对数阶常出现于基于分治策略的算法中,体现了“一分为多”和“化繁为简”的算法思想。它增长缓慢,是仅次于常数阶的理想的时间复杂度。
准确来说,“一分为
也就是说,底数
线性对数阶 ¶
线性对数阶常出现于嵌套循环中,两层循环的时间复杂度分别为
下图展示了线性对数阶的生成方式。二叉树的每一层的操作总数都为
主流排序算法的时间复杂度通常为
阶乘阶 ¶
阶乘阶对应数学上的“全排列”问题。给定
阶乘通常使用递归实现。如下图和以下代码所示,第一层分裂出
请注意,因为当
最差、最佳、平均时间复杂度¶
算法的时间效率往往不是固定的,而是与输入数据的分布有关。假设输入一个长度为 nums
,其中 nums
由从
- 当
nums = [?, ?, ..., 1]
,即当末尾元素是 时,需要完整遍历数组,达到最差时间复杂度 。 - 当
nums = [1, ?, ?, ...]
,即当首个元素为 时,无论数组多长都不需要继续遍历,达到最佳时间复杂度 。
“最差时间复杂度”对应函数渐近上界,使用大
值得说明的是,我们在实际中很少使用最佳时间复杂度,因为通常只有在很小概率下才能达到,可能会带来一定的误导性。而最差时间复杂度更为实用,因为它给出了一个效率安全值,让我们可以放心地使用算法。
从上述示例可以看出,最差时间复杂度和最佳时间复杂度只出现于“特殊的数据分布”,这些情况的出现概率可能很小,并不能真实地反映算法运行效率。相比之下,平均时间复杂度可以体现算法在随机输入数据下的运行效率,用
对于部分算法,我们可以简单地推算出随机数据分布下的平均情况。比如上述示例,由于输入数组是被打乱的,因此元素
但对于较为复杂的算法,计算平均时间复杂度往往比较困难,因为很难分析出在数据分布下的整体数学期望。在这种情况下,我们通常使用最差时间复杂度作为算法效率的评判标准。
为什么很少看到
可能由于