接入企业 AI 前,资料要整理到什么程度?
先让目标任务的关键事实能被识别、校验、追溯和更新,再决定哪些资料可以进入当前版本。
首期资料不需要覆盖全公司,但必须让目标任务所需的关键事实能被识别、校验、追溯和更新。先确定资料范围、字段含义、实体标识、错误去向与批次验收,再接入检索或 Agent。验收看的是“哪些记录在什么规则下进入了当前版本”,不能只看上传了多少个文件。
这篇文章面向已经选定任务、准备交付首批资料的业务与实施团队。是否先立项属于准备度判断;这里继续回答:双方实际交什么、缺项怎样处理、数量怎样对账,以及替换一批资料时如何避免不完整结果进入服务。
先定义本期需要哪些事实,再整理文件
先选一组任务问题,例如查询某系列产品的适用条件与可提供资料。逐条标出回答所需的字段或原文,再建立来源目录。与任务无关的旧文件不必同时导入;影响关键判断的缺项,也不能因为总资料量很大而被忽略。
| 字段 | 需要记录什么 |
|---|---|
| 来源与责任 | 资料来自哪个系统或部门,谁确认含义与允许使用范围 |
| 内容与定位 | 稳定标识、文件或记录位置、工作表/页码等可回查位置 |
| 适用与时效 | 对应产品、业务范围、生效与失效条件、版本关系 |
| 更新方式 | 全量替换还是增量变更,新增、修改和删除怎样表达 |
| 使用限制 | 哪些角色能用,是否允许进入本期处理,哪些内容应排除 |
“最新.xlsx”不是稳定版本说明;“型号”与“内部编码”也未必表示同一个实体。请业务方解释真正能唯一识别产品、客户或工单的标识,说明改名、合并和停用时怎样关联。不能由清洗程序凭相似名称决定两行一定是同一个对象。
数据字典要把类型、单位、空值和错误口径写清
| 字段 | 演示规则 | 违反时怎样处理 |
|---|---|---|
| product_id 产品标识 | 文本;保留前导零;在本业务范围内能稳定识别产品 | 关键标识缺失先隔离,不以行号冒充业务标识 |
| temperature_limit 适用温度 | 数值与单位分开;适用工况另列,不能只留一个数字 | 单位缺失或工况不明时标为不可支持该项回答 |
| document_version 资料版本 | 由责任人确认的版本及生效关系 | 版本冲突进入复核,不简单按文件修改时间择一 |
| source_ref 来源定位 | 对应原件、工作表和行,或约定的资料段落 | 无法定位时不算已具备可回查证据 |
| availability_status 使用状态 | 明确有效、停用、待确认等含义及允许用途 | 不把空白一律解释成有效或可承诺 |
空值需要分别表达“不适用”“尚未取得”“拒绝提供”和“确实为空”,不能全部改成零。金额、日期和数量也应保留相应单位、币种或格式口径。自动修正应限定在双方批准的规则内;会改变业务事实的修正,由有权人员确认并留痕。
W3C 的表格数据模型区分列类型、主键、原始行定位和单元格错误等元数据,可作为设计校验口径的参考。本文演示字段由业务任务决定,不声称遵循该模型就能保证资料正确。参阅:Model for Tabular Data and Metadata on the Web。
CSV、表格、扫描 PDF 和数据库,不是同一种接入
| 来源 | 除了“读到文件”还要检查 |
|---|---|
| CSV / XLS / XLSX | 编码、表头、工作表、列映射、公式结果、合并单元格、空值和实体标识 |
| 文字或扫描 PDF、图片 | 文字识别与版面、表格行列、单位和脚注,引用能否回到页码;扫描质量不同需要另测 |
| 网页 | 正文与导航分离、抓取许可与范围、变化识别、失效链接和更新时间 |
| 业务数据库或系统 | 实际授权、字段关联、增删改同步、查询负载、错误与恢复路径 |
汇棱公开的Data Index Engine 工程说明当前已核验支持 CSV、XLS、XLSX,包含规则映射、错误分离和批次追溯。PDF、网页、图片与数据库需要另外设计抽取、连接、更新和权限,不能把结构化文件工程当成所有格式已可直接导入。
每批都有原件、标准记录、错误清单和数量对账
保留原件或不可混淆的原始记录,输出标准数据和失败原因,并记录来源、规则版本、批次标识、时间与数量。对账前先定义处理单位:一行是否生成一条实体,重复行怎样计数,跨行合并怎样统计。否则几个看似相同的“总数”可能对应不同对象。
批次对账演示(非运行日志):假定一行对应一条候选记录,三类结果互斥且覆盖全部输入:1,000 行=920 行通过+50 行隔离待修+30 行按明确去重规则排除。通过率 92% 只描述这个演示批次,不能用作任意项目的质量门槛;即使总数对上,关键字段错配仍可能使批次不可用。
- 从通过记录抽查到原行,确认产品、字段、单位和版本对应;覆盖主要差异与容易错的格式,抽查范围由业务风险约定。
- 从每类错误反查原件,确认原因可复现、责任人能修正,失败行没有静默混入标准层。
- 重复记录保留判定依据;名称相同但业务标识不同的情况不能随意合并。
- 修正后形成新处理结果并保留关联,不直接覆盖旧批次使错误来源消失。
完整验证后再切换,旧版本保留与撤回分开处理
将候选批次的结构、数量、关键字段和查询结果核对完,再按授权切换当前版本。中途失败或关键错误未关闭时,继续使用仍有效的旧批次或暂停相关范围,不让半成品成为默认依据。恢复旧批次后,也要检查服务实际读到的版本。
保留旧版本便于追查,不等于旧资料一直允许被查询。已撤回、删除或收紧权限的内容,应同步处理索引、切分片段和相关缓存;历史记录的保存与可读权限另行约定。回退也不能把已失效的授权和资料重新公开。
业务验收可留下四份结果:字段与范围确认、批次对账、错误处置与残留限制、当前版本及恢复记录。容量、延迟、并发和权限属于真实环境的另一组验收,不能由一次文件处理成功推定。
武汉市监部门一份公开采购将接入标准、元数据、授权检索和可追溯交付分别列入需求,说明交付对象不限于文件本身。它是单一政务采购,本文不沿用其区块链、资质、预算、周期或监管专属要求。参阅:该项目原始询价公告。
完成首批资料后,可继续检查回答怎样对应来源与版本和知识接入后的权限与撤权。需要设计实际的数据接入与验收链路,可按企业 AI 项目落地范围沟通目标任务、允许材料和验收证据。
本页判断依据
把业务问题说清楚,再决定下一步
已选定需要改善的业务任务,可以先沟通现有数据、系统和责任边界,再确认接入、验收与持续运行的范围。
顾问咨询
先沟通当前问题、服务范围与下一步,再确定适合的安排。
通过企业微信或邮箱直接沟通