机架式 Mac mini。图片来源：Overcast
现在，由 48 台 Mac mini 组成的机架为 Overcast 的播客文字稿提供支持，开发者 Marco Arment 绕过了云端 AI，转而使用本地Apple Silicon。
Arment 选择使用 Apple Silicon 硬件，是为了规避云端 AI 服务不断上涨的成本和诸多限制。他的系统于 3 月份上线，并搭载了 Overcast 的全新转录功能。
现在，这款应用可以利用苹果的语音识别模型大规模生成播客文字稿。处理过程不再运行在听众的设备上，而是在 Mac mini 后端完成。
Arment解释说，如果采用云服务定价，Overcast每天将花费数千美元。相比之下，Mac mini集群在初始设置完成后，除了最初的巨额费用外，每月的支出都是可预测的。
云端人工智能服务虽然方便添加功能，但成本也相当高昂。播客转录并非一次性工作，因为新剧集不断推出，过往节目库也在持续扩充。
Arment决定迎难而上，直接在苹果硬件上本地运行工作负载。苹果的语音模型在Apple Silicon芯片上运行速度很快，而且将任务分配到多台机器上可以提高效率。
Arment 选择 Apple Silicon 硬件是为了规避云端 AI 服务日益增长的成本和局限性。图片来源：Overcast
这种方法避免了将每个转录文本都与成本高昂的云端 AI API 调用关联起来，而是充当定制的计算集群，而非典型的应用程序后端。每台 Mac mini 处理音频的速度都远超实时速度。
苹果芯片的强大性能可以胜任服务器角色
Mac mini 并非专为数据中心设计，但如今凭借 Apple Silicon 出色的每瓦性能、统一内存和高效的本地模型执行能力，也能被高效地应用于数据中心。这些特性使其非常适合语音识别等推理工作负载。
Arment 的集群展示了消费级 Mac 如何在工作负载可预测的情况下处理持续的后端任务。苹果将设备端 AI 定位为一项隐私和响应速度功能，但 Overcast 将相同的技术应用于后端处理。
播客分发带来了一些通用人工智能服务难以处理的问题。动态广告插入会导致不同的听众听到略有不同的音频，这使得转录文本的对齐和重用变得更加复杂。
安装在数据中心机架中的 Mac mini。图片来源：Reddit 用户 Difficult-Maybe-6131
Arment 通过音频指纹识别和去重技术解决了这个问题。Overcast 生成一份文本稿，并将其映射到多个剧集版本中，从而在保持一致性的同时减少了冗余处理。
Overcast 这款小巧的应用展现了人工智能领域的重大变革。苹果芯片的性能如今已能支持传统云环境之外的持续人工智能工作负载，尤其适用于需求稳定的推理任务。
Arment 的集群挑战了可扩展人工智能需要超大规模基础设施的观点。对于实际应用场景，价格适中的机器也能提供可预测的成本和不错的性能。
苹果公司持续将其芯片定位为设备端智能的基础。Overcast 展示了同一套硬件如何支持独立的后端系统，从而减少对云服务提供商的依赖。
原文 https://appleinsider.com/articles/26/04/07/giant-mac-mini-cluster-powers-overcast-podcast-transcripts-without-the-cloud
