所有随机抽样都可以用于推断总体

正确答案是：D: 不能用于推断总体。

### 分析：

简单随机抽样的特点是，每个总体中的个体都有相同的概率被选中，因此样本是总体的一个无偏估计。然而，这种方法也有其局限性，但主要体现在以下几个方面：

- **A: 当总体数量很大时，不易构造抽样框**
构造一个完整的抽样框（即总体中所有个体的列表）在总体数量很大的情况下会非常困难且不切实际。

- **B: 抽出的单位很分散，给实施调查增加了困难**
简单随机抽样可能导致样本分布在很广的地理区域中，这会增加数据收集的成本和难度。

- **C: 没有利用其它辅助信息以提高估计的效率**
简单随机抽样不考虑任何辅助变量，这意味着没有利用可能有助于提高估计精度的信息。

- **D: 不能用于推断总体**
这是不正确的，因为简单随机抽样正是用于从样本推断总体特征的方法之一。只要样本大小足够大，简单随机抽样可以有效地用于统计推断。

综上所述，选择D项是正确的，因为它不属于简单随机抽样的局限性。