Atoms平台需在客户端统一管控多模型总并发数以避免429错误，通过全局信号量限制总请求数，并按权重或响应头动态分配子信号量。

Atoms平台支持同时调用多个大模型（如Qwen、GLM、DeepSeek等）执行协同推理，但若不加约束，多模型并行请求极易触发各服务商独立的QPM/TPM限流，导致部分请求返回429错误或响应延迟飙升。必须在客户端层面统一管控总请求数量，而非依赖单个模型SDK的内部限流。

配置全局并发信号量

打开Atoms主调度器文件scheduler.py，定位到class AtomOrchestrator初始化区域。

确认存在self.semaphore = asyncio.Semaphore(self.config.max_total_concurrent_requests)语句；若不存在，手动插入该行，位置在self.model_clients初始化之后、self.task_queue创建之前。

在配置文件atoms_config.yaml中设置max_total_concurrent_requests: 4——【该值必须小于所有目标模型QPM配额的最小值】，例如你同时调qwen-turbo（500 QPM）和glm-4（200 QPM），则此处不能超过200÷60≈3.3，取整为3更稳妥。

所有模型调用入口（如call_qwen()、call_glm()）必须包裹在async with self.semaphore:上下文中，否则并发控制失效。

按模型类型动态分配子信号量

方法一：基于权重比例切分

若业务中Qwen承担70%流量、GLM承担30%，可在初始化时创建两个子信号量：self.qwen_sem = asyncio.Semaphore(3)、self.glm_sem = asyncio.Semaphore(1)，对应总并发上限4。

方法二：按服务端响应头实时调整

监听每次响应头中的X-RateLimit-Remaining字段，当某模型剩余配额低于阈值（如post_request_hook()函数中。

注意：子信号量不可嵌套使用，即不能在async with self.qwen_sem:内再申请self.semaphore，否则引发死锁。

批量请求合并策略

第一步：识别可聚合任务

检查当前待发请求是否满足三个条件：①目标模型相同；②输入结构兼容（如均为chat/completions格式）；③超时容忍度一致（如都允许15秒）。满足则进入合并队列。

第二步：启用批量封装器

调用BatchRequestBuilder.build_batch_payload(requests_list)，传入最多8个原始请求对象；该函数会自动合并messages数组，并重设max_tokens为各请求预估输出token之和。

第三步：强制走批量接口路径

对Qwen模型，将原/v1/chat/completions请求改发至/v1/batch/chat/completions；对GLM模型，需将model参数显式改为glm-4-batch（非最新别名，Atoms内部路由映射为批量处理通道）。

这一步操作起来很简单，直接把文件拖进去就行。