什么是 Job 批处理

产品概述

共绩科技 的 Job 批处理产品是一项专为大规模数据处理、AI 离线计算等场景设计的容器化计算服务。与需要持续在线响应的“弹性部署”服务不同，Job 批处理专注于执行“一次性”或“具备明确终点”的计算任务。它致力于为用户提供强大的分布式算力调度、极具性价比的闲置算力（Spot）利用方案以及高度可靠的自动化容错机制。用户只需提交计算逻辑与算力需求，平台将全权负责物理资源的分配、任务的批量创建或并发执行以及运行结束后的资源自动回收，助力企业在海量离线计算场景中实现极致的降本增效。

为什么需要独立的 Job 批处理任务？

在以往的实践中，许多用户尝试使用常规的在线服务（Deployment）来跑离线训练任务。这种做法存在显著痛点：

• 资源浪费：任务代码跑完后，如果用户忘记手动释放机器，系统会持续扣费。
• 缺乏容错与进度追踪：无法精确统计一个包含 100 个子任务的批处理进行到了哪一步，也无法在单一节点崩溃后自动在其他物理机上接力续跑。

Job 批处理任务正是为了解决这些痛点而生，它深度整合了 Kubernetes 的 Job 控制器，让算力的申请、使用和释放实现了真正的“阅后即焚”，让开发者能 100% 聚焦于算法与业务逻辑本身。

技术特性

容器化与全托管

• 标准化环境：完整兼容 Docker 生态，支持接入自有镜像仓库，业务代码打包即运行。
• 阅后即焚：任务代码执行完毕（成功或彻底失败）后，系统立即自动释放底层计算资源并停止计费，彻底杜绝资源闲置浪费。

双轨弹性计费策略

• 按量计费 (On-Demand)：提供 P0 级别的算力绝对独占权，保障核心生产任务稳定运行，免受任何外部资源抢占干扰。
• 抢占式计费 (Spot)：智能调度平台闲置 GPU 算力，提供极低的折扣。配合自动重试机制，是弱时效性离线任务的省钱利器。

企业级容错与高可用

• 多级故障自愈：内置容器级的“原地重启”与任务级的“重新调度”，从容应对代码异常与物理机宕机。
• 全局财务熔断：支持自定义最大允许失败节点数。当大规模任务发生群体性报错时，系统将提前终止任务，保护用户账户余额。

大规模并发与分布式支持

• 一键海量并发：支持单任务拉起成百上千个计算节点，瞬间吞吐 TB 级数据。
• 索引模式：为分布式计算提供强大的底层支持，为每个节点分配唯一身份标识，完美适配多机多卡训练与静态数据分片。

全生命周期可观测

• 状态机精准追踪：提供排队中、启动中、运行中、成功、失败等精确到节点的生命周期状态管理。
• 实时监控诊断：支持实时查阅每个运行节点的标准输出日志。

术语解释

批处理任务 (Batch Job)

• 打个比方：就像使用全自动洗衣机洗衣服。您把一整筐脏衣服（海量数据）放进去，设置好模式（计算逻辑）并按下启动键。洗衣机按照程序自动完成洗涤、漂洗、脱水，完成后自动停止断电，期间完全不需要您在旁边盯着。
• 简而言之：是一种无需用户交互即可在后台执行的计算任务模式。它主要用于处理数据量大、耗时较长、无需实时返回结果的任务，如离线渲染、数据报表生成或 AI 模型训练。

抢占式任务（Spot）

• 打个比方：就像您用极低的价格买了一张航空公司的“候补机票”。如果有空座，您就能用白菜价飞到目的地；但如果购买了全价票的 VIP 乘客突然增多且座位不够，航空公司有权随时请您下机等候下一班。
• 简而言之：是云平台将暂时闲置的计算资源以极高折扣售卖的一种计费模式。它的价格远低于常规按量计费，但缺点是当平台整体资源紧张或有高优先级需求时，该实例可能会被系统主动中断并回收。

节点重试 (Retry / Backoff Limit)

• 打个比方：就像在一场接力赛中，某个队员因为受伤（物理机宕机）彻底无法跑了。教练（调度器）不会直接宣布全队淘汰，而是消耗一次“换人名额”，从替补席（集群资源池）重新派一名新队员到对应的起跑线上接力跑。
• 简而言之：是任务级别的高级容错机制。当一个计算节点（Pod）彻底宣告失败时，系统会在集群中重新寻找健康的物理机，并拉起一个全新的节点来继续尝试完成该任务，以此应对底层硬件故障或严重的网络隔离。

容器重启 (Restart Policy)

• 打个比方：就像运动员在跑道上自己绊了一跤（代码抛出异常退出）。他没有要求换人，而是直接在原地爬起来拍拍土，继续接着跑。
• 简而言之：是容器级别的基础容错机制。当容器内部的进程崩溃时，底层的 Kubelet 程序会在同一台物理机、同一个节点内部直接将进程重新拉起。它执行速度极快，但不适用于物理机本身的故障。

索引模式 (Indexed Mode)

• 打个比方：就像您雇佣了 10 个工人来批改 1000 份考卷。为了防止他们重复批改，您给每个工人发了一个编号（0 号到 9 号）。0 号工人知道自己只改 1-100 份，9 号工人只改 901-1000 份。
• 简而言之：是一种高级并发调度模式。开启后，系统会为并行任务中的每一个节点注入一个唯一的静态索引环境变量（JOB_COMPLETION_INDEX）。应用程序可以通过读取这个编号，精准认领属于自己的数据分片，是实现分布式训练和并行数据处理的核心机制。

节点并行数 (Parallelism)

• 打个比方：就像盖一栋房子，1 个砖瓦匠需要盖 100 天；如果您同时雇佣 50 个砖瓦匠一起干活，可能只需要 2 天就能完工。
• 简而言之：指在一个 Job 任务中，同时处于“运行中”状态的计算节点（Pod）数量。提高并行度可以成倍缩短海量数据的处理时间，但同时也会瞬间占用更多的算力配额。