随着人工智能使用量激增，AT&T正转向开源模型以控制其在OpenAI和Anthropic上的支出，将大部分员工请求转向Nvidia、Meta和Google的选项。该公司表示，目前约40%的员工请求被路由至Nvidia、Meta和Google的模型，目标是在几年内将这一比例提升至60-70%。AT&T人工智能主管Mark Austin表示，开源模型在性能上可与部分闭源模型匹敌，甚至在某些任务上表现更优。该公司于2023年推出的Ask AT&T平台最初完全依赖OpenAI模型，此后已演变为与不同提供商合作的多模型系统。该平台每日处理450亿个令牌，并根据任务复杂度将请求路由至最合适的模型。通过使用LiteLLM进行模型路由，AT&T在某些代码生成任务上成本降低高达56%，同时输出质量损失保持在约2%。该公司还使用Nvidia Nemotron、Meta Llama和Google Gemma模型。Austin表示，预计开源模型将持续改进。尽管AT&T仍使用强大的闭源模型处理复杂编码工作，但将摘要等较轻任务分配给更便宜的选项。这种方法旨在增加使用量，同时保持OpenAI和Anthropic支出稳定。该公司希望避免其人工智能账单迅速膨胀。
