系数矩阵X的列数即为自变量的个数，一般用P表示。则X'X是一个P*P的矩阵，阶数为P。（X'为X的转置）

在多元线性回归中，假设我们有 \( p \) 个自变量（特征）和 \( n \) 个观测值。设计矩阵 \( X \) 的维度是 \( n \times p \)，即 \( X \) 矩阵有 \( n \) 行和 \( p \) 列。

正规方程组是 \( X'X\beta = X'y \)，其中 \( X' \) 是 \( X \) 的转置矩阵，\( \beta \) 是回归系数向量，\( y \) 是观测值向量。

矩阵 \( X'X \) 的阶数等于其行数和列数，因为 \( X' \) 的维度是 \( p \times n \)，所以 \( X'X \) 的维度是 \( (p \times n) \times (n \times p) = p \times p \)。

因此，矩阵 \( X'X \) 的阶数等于 \( p \)。

正确答案是：C: p