Jev-X · 模型进展

JEV 的新进展:让图片参与软件判断

图片怎么传、放在哪里、如何得到判断与位置。

· 图像功能简明指南 · 作者 Rich

图片和明确的问题进入 JEV,返回选择、评分、概率与位置,交给代码组合成流程。

我认为,JEV 是模型领域一个重要的里程碑:它让模型判断更接近软件可以反复调用的基础能力。 开发者给出状态和明确的问题,拿回类别、分数和概率,再由代码决定下一步。官方介绍 将这种方式称为 System One。

这次 Jev 1.14 的发布 开放了图像等实验功能,让图片也能进入这套判断流程。下面重点说图片如何使用。

图片可以放在哪里?

根据 Images 文档,图片可以进入三个位置:

位置 用途 例子
state:待判断的状态 提供要看的图片,供多个问题共用。 门口照片中是否有人、是否有包裹?
instructions:问题说明 给某个问题附上参考图。 商品照片与这张参考图是否相似?
criteria:判断标准 用图片定义选项或评分等级。 提供几张风格图,让模型选择最接近的一类。

图片既可以是判断对象,也可以是比较依据。比如一个商品归类工具,可以同时提交商品照片和分类示例图,让结果直接对应程序里的类别。

最小示例:判断照片中是否有人

在 Node.js 22 及以上版本安装 SDK(npm install @typesafe-ai/sdk),把 API Key 放进环境变量 TYPESAFE_API_KEY。下面按 官方 JavaScript SDK 文档 编写:

import { openAsBlob } from "node:fs";
import { image, noul, TypeSafeClient } from "@typesafe-ai/sdk";

const client = new TypeSafeClient();
// SDK 负责上传图片、生成引用;图片放在状态里供问题使用。
const photo = image(await openAsBlob("door.jpg"));

const { answers } = await client.systemOne(
  {
    model: "jev-1.14.0",
    state: { photo },
    questions: {
      hasPerson: noul("`photo` 中是否有人?"),
    },
  },
  { headers: { "TypeSafe-Danger-Zone-Images": "true" } },
);

console.log(answers.hasPerson.noul);

hasPerson.noul 是模型估计的“有人”概率,范围为 0–1。程序可以用经过自身样本验证的阈值决定后续处理。同一请求还可以加入 Choice 做分类、Score 做评分。

如果直接调用 HTTP API,图片通过 assets 提供,再在上述三个位置写入图片引用;官方推荐 multipart 上传,也支持 Base64。SDK 会代办这些细节。

需要位置时,再加一个 Box

Box 类型 用来定位一个目标,返回 top、bottom、left、right 四条边及置信度。坐标按图片宽高归一化到 0–1,代码可以据此画框或裁剪。它需要 Jev 1.14。

Box 没有“未找到”结果,目标不存在时也会返回框。 因此应同时用 Noul 判断目标是否存在,存在概率不足时忽略坐标;每个 Box 问题只定位一个目标。

使用前记住三件事

  • 需要主动开启。 图片支持 Jev 1.13 和 1.14,每次请求都要带上示例中的图像开关;图片和 Box 目前仍属实验能力。
  • 先准备好图片。 使用 PNG 或 JPEG 静态图;入门示例可先用 512 × 512 的图片。完整尺寸限制见 官方限制表,接口不会自动缩放超限图片。
  • 图片也计入用量。 按输入 tokens 收费,可在 usage.input_tokens 中查看;多个问题共用的图片尽量放在 state,减少重复嵌入。

JEV 这次进展的吸引力,是让视觉信息也能进入具体的软件逻辑:看一张图,判断是否存在、属于哪类、处于什么等级、目标在哪里,再由代码组合成产品功能。

资料核查于 2026 年 10 月 15 日。示例按官方文档编写,尚未进行真实图片 API 调用验证。