open-courses
Search…
Algorithms and Computation

Computation

Computation 中有三个重要概念,问题(Problem)、算法(Algorithm) 和效率(Efficiency)。这三个概念将永远伴随你走过计算机生涯。

问题

一个合法的问题有以下几个特点:
  • 问题定义了从输入到正确输出的二元关系
  • 通常问题描述不会穷举所有输入到所有正确输出的关系,而是提供一个可验证的方式来确定输出是否正确。
  • 通常问题的输入有两种,有界和无界。无界的输入可以有无限种输入。

算法

一个合法的算法有以下几个特点:
  • 算法是一个将输入映射到确定输出的过程
  • ”一个算法解决了一个问题“,意思是对于问题的任意输入,该算法都能将其映射到正确的输出
  • 算法的大小必须是有限的
  • 算法必须要能证明它的正确性:
    • 有界输入问题:可以穷举
    • 无界输入问题:必须通过归纳法证明

效率

Asymptotic Notation:
  • Upper Bounds:
    OO
  • Lower Bounds:
    ΩΩ
  • Tight Bounds:
    θθ
input
constant
logarithmic
linear
log-linear
quadratic
polynomial
exponential
n
θ(1)θ(1)
θ(lgn)θ(lgn)
θ(n)θ(n)
θ(nlgn)θ(nlgn)
θ(n2)θ(n^2)
θ(nc)θ(n^c)
2θ(nc)2^{θ(n^c)}
1000
1
10≈ 10
1000
10000≈ 10000
1000000
...
21000103012^{1000} ≈ 10^{301}
在谈论算法效率之前,必须明确我们的计算模型(Model of Computation)是什么:

Word-RAM

内存可以理解成可随机访问的数组,每个元素是一个字(32-bit 或者 64-bit),每次随机访问的时间复杂度为
O(1)O(1)

如何用算法解决一个问题

Reduce

将其转化成你所熟知的数据结构及算法,如:

Search Data Structures

  • Array
  • Sorted Array
  • Linked List
  • Dynamic Array
  • Binary Heap
  • Binary Search Tree / AVL
  • Direct-Access Array
  • Hash Table

Sort Algorithms

  • Insertion Sort
  • Selection Sort
  • Merge Sort
  • Heap Sort
  • AVL Sort
  • Counting Sort
  • Radix Sort

Shortest Path Algorithms

  • Breadth First Search
  • Depth First Search/Topo. Sort
  • Dijkstra
  • Bellman-Ford
  • Floyd-Warshall
  • Johnson
...

Design

设计你的递归/迭代算法:
  • 将函数调用抽象成计算图中的一个点,A -> B 表示 A 调用 B
  • 将算法按照计算图进行归类,见下表
  • 证明算法的正确性
算法类别
计算图类别
访问节点数量
Brute Force
Star
All
Decrease & Conquer
Chain
All
Divide & Conquer
Tree
All
Dynamic Programming
DAG
All
Greedy / Incremental
DAG
Some