一    引言

      近年來，隨著國(guó)務(wù)院和國(guó)家部委一系列意見和政策的出臺(tái)，我國(guó)農(nóng)產(chǎn)品質(zhì)量安全追溯體系建設(shè)進(jìn)入了實(shí)質(zhì)性推進(jìn)階段。各部委紛紛出臺(tái)相關(guān)政策，劃撥專用經(jīng)費(fèi)用于農(nóng)產(chǎn)品質(zhì)量安全追溯體系的建設(shè)，并逐漸總結(jié)、完善、形成了一套高效適用的工作流程和方法。典型的如農(nóng)業(yè)部國(guó)家農(nóng)產(chǎn)品質(zhì)量安全追溯平臺(tái)、商務(wù)部牽頭的重要產(chǎn)品追溯體系及平臺(tái)等。

       國(guó)家平臺(tái)的建立，從某種程度上能夠起到規(guī)范追溯體系建設(shè)、充分發(fā)揮政府公信力保障農(nóng)產(chǎn)品質(zhì)量安全的作用，但也遇到了非常棘手的問題。隨著全國(guó)如火如荼的追溯體系建設(shè)的快速推進(jìn)，各地各級(jí)政府部門、行業(yè)協(xié)會(huì)、電商服務(wù)機(jī)構(gòu)、甚至企業(yè)與合作社都先后建立起了農(nóng)產(chǎn)品追溯體系和平臺(tái)系統(tǒng)，如直接棄用這些系統(tǒng)改用國(guó)家平臺(tái)，勢(shì)必造成巨大浪費(fèi)，且數(shù)據(jù)的重新錄入與遷移工作量巨大。那么唯一的選擇就是將各級(jí)平臺(tái)對(duì)接到國(guó)家平臺(tái)當(dāng)中，實(shí)現(xiàn)追溯數(shù)據(jù)的分布存儲(chǔ)和集中對(duì)接，并在中心端實(shí)現(xiàn)不同環(huán)節(jié)、不同責(zé)任主體農(nóng)產(chǎn)品追溯數(shù)據(jù)的銜接，完成追溯鏈的聯(lián)通。這樣才能在保證現(xiàn)有軟硬件設(shè)施及數(shù)據(jù)資產(chǎn)效益的情況下，實(shí)現(xiàn)追溯體系投入產(chǎn)出效益的最大化。

        由此引出追溯數(shù)據(jù)對(duì)接的概念，不同于普通的數(shù)據(jù)項(xiàng)目中的數(shù)據(jù)同步和數(shù)據(jù)ETL（指數(shù)據(jù)的抽取、轉(zhuǎn)換和裝載）過程。追溯數(shù)據(jù)的對(duì)接是指將不同追溯平臺(tái)和系統(tǒng)當(dāng)中多源異構(gòu)，標(biāo)準(zhǔn)各異的追溯數(shù)據(jù)統(tǒng)一對(duì)接到中心端，構(gòu)建追溯數(shù)據(jù)統(tǒng)一數(shù)據(jù)湖，并能夠在此基礎(chǔ)上實(shí)現(xiàn)供應(yīng)鏈中不同責(zé)任主體農(nóng)產(chǎn)品追溯數(shù)據(jù)的“上下關(guān)聯(lián)”，以保證農(nóng)產(chǎn)品在供應(yīng)鏈中流動(dòng)過程的正向跟蹤和反向溯源。

二    農(nóng)產(chǎn)品質(zhì)量安全追溯數(shù)據(jù)對(duì)接的實(shí)質(zhì)

        如果要更加深入地了解農(nóng)產(chǎn)品質(zhì)量安全追溯數(shù)據(jù)對(duì)接的實(shí)質(zhì)，就必須要了解農(nóng)產(chǎn)品內(nèi)部追溯和外部追溯的關(guān)系。內(nèi)部追溯是當(dāng)前責(zé)任主體從收到其他責(zé)任主體的一個(gè)或多個(gè)可追溯農(nóng)產(chǎn)品實(shí)體作為其內(nèi)部生產(chǎn)/加工流程的輸入，到該農(nóng)產(chǎn)品實(shí)體轉(zhuǎn)變?yōu)楫?dāng)前責(zé)任主體出產(chǎn)的農(nóng)產(chǎn)品/加工/銷售實(shí)體之間過程的跟蹤與溯源。而外部追溯則是可追溯農(nóng)產(chǎn)品實(shí)例從一個(gè)貿(mào)易伙伴（可追蹤農(nóng)產(chǎn)品來源）物理地移交給另一個(gè)（可追溯農(nóng)產(chǎn)品收件人）的過程的跟蹤和溯源[[1]]。只有將外部追溯和內(nèi)部追溯關(guān)聯(lián)起來，才能夠?qū)崿F(xiàn)真正的全過程追溯。因此，全過程追溯是覆蓋整個(gè)供應(yīng)鏈的、連接農(nóng)產(chǎn)品生產(chǎn)經(jīng)營(yíng)主體內(nèi)部生產(chǎn)/加工以及農(nóng)產(chǎn)品在供應(yīng)鏈中的流動(dòng)，實(shí)現(xiàn)從農(nóng)產(chǎn)品種/養(yǎng)殖環(huán)節(jié)到零售終端的正向跟蹤，以及從零售終端到農(nóng)產(chǎn)品種/養(yǎng)殖環(huán)節(jié)的反向溯源的過程。任何一個(gè)環(huán)節(jié)的缺失都會(huì)造成整個(gè)農(nóng)產(chǎn)品追溯鏈條的斷裂。

        由此可明確一點(diǎn)，追溯數(shù)據(jù)的對(duì)接不同于單純的數(shù)據(jù)ETL，除了將數(shù)據(jù)導(dǎo)入中央存儲(chǔ)以外，追溯數(shù)據(jù)對(duì)接還擔(dān)負(fù)著保證追溯數(shù)據(jù)能夠保證實(shí)現(xiàn)跨責(zé)任主體、覆蓋整個(gè)供應(yīng)鏈的農(nóng)產(chǎn)品實(shí)體的跟蹤和溯源的責(zé)任，這也是追溯數(shù)據(jù)對(duì)接與普通的數(shù)據(jù)工程的關(guān)鍵差異。

三    追溯數(shù)據(jù)對(duì)接操作的核心含義

        明確了追溯數(shù)據(jù)對(duì)接與普通數(shù)據(jù)導(dǎo)入的差異，再來了解對(duì)接本身的含義。漢語(yǔ)詞典中“對(duì)接”一次的定義是：將各部分端部的對(duì)接部接合固定起來。可以想象并操作“對(duì)接”這個(gè)動(dòng)作的過程，會(huì)發(fā)現(xiàn)在實(shí)際對(duì)接的過程中，對(duì)接的對(duì)象或部分必定有且至少有一個(gè)是相對(duì)靜止的，其他的對(duì)象或部分則處于運(yùn)動(dòng)中，去不斷找尋靜止的對(duì)象或部分，直至達(dá)到完全接合，則該部分的對(duì)接完成。再觀察宇宙飛船或空間站的對(duì)接，也是同樣的過程。由此可以總結(jié)出一個(gè)規(guī)律：如果要實(shí)現(xiàn)對(duì)接，那么對(duì)接各方中至少要有一個(gè)是相對(duì)固定或靜止的，才能保證對(duì)接過程的實(shí)現(xiàn)。

        數(shù)據(jù)的對(duì)接也是如此。如果參與一次對(duì)接的兩個(gè)數(shù)據(jù)集的數(shù)據(jù)元[[2]]都在變化著，那么數(shù)據(jù)對(duì)接的過程是不可能完成的。只有其中一個(gè)數(shù)據(jù)集的數(shù)據(jù)元固定，其他數(shù)據(jù)集才有可能依據(jù)相應(yīng)規(guī)則將數(shù)據(jù)存儲(chǔ)到這個(gè)數(shù)據(jù)集當(dāng)中來。而這個(gè)數(shù)據(jù)元固定的數(shù)據(jù)集一定是中心端的數(shù)據(jù)集，因?yàn)樗衅渌谌降臄?shù)據(jù)集都要對(duì)接到這里。除了數(shù)據(jù)元相對(duì)固定，中心端數(shù)據(jù)集的數(shù)據(jù)元在設(shè)計(jì)上還必須能夠保證整個(gè)追溯數(shù)據(jù)鏈的連接。更確切地說，按照國(guó)際公認(rèn)的“One up, one down”[[3]]追溯最低要求，保證每個(gè)責(zé)任主體都至少能追溯到其上游原料供應(yīng)責(zé)任主體，并向下游生產(chǎn)流通責(zé)任主體共享追溯數(shù)據(jù)，以通過每個(gè)責(zé)任主體追溯數(shù)據(jù)的前后銜接“串”起整個(gè)追溯數(shù)據(jù)鏈條。而其中的關(guān)鍵就是追溯數(shù)據(jù)元的設(shè)計(jì)。

四    追溯數(shù)據(jù)對(duì)接的實(shí)施步驟

        通過以上分析，可以歸納出追溯數(shù)據(jù)對(duì)接的實(shí)施步驟：

1、數(shù)據(jù)元方案設(shè)計(jì)

        為保證農(nóng)產(chǎn)品質(zhì)量安全追溯數(shù)據(jù)的順利對(duì)接，實(shí)現(xiàn)數(shù)據(jù)集中與追溯數(shù)據(jù)關(guān)聯(lián)的目標(biāo)，需要預(yù)先根據(jù)所要對(duì)接的產(chǎn)品性質(zhì)設(shè)計(jì)一套通用的追溯數(shù)據(jù)元標(biāo)準(zhǔn)，用于規(guī)范第三方數(shù)據(jù)向中心端數(shù)據(jù)湖上傳數(shù)據(jù)。該數(shù)據(jù)元標(biāo)準(zhǔn)通常是中心端為保證跨供應(yīng)鏈的追溯數(shù)據(jù)聯(lián)通的最小數(shù)據(jù)元集合。

2、數(shù)據(jù)檢驗(yàn)

        需對(duì)要對(duì)接的第三方追溯數(shù)據(jù)進(jìn)行整體檢驗(yàn)，確定其是否滿足對(duì)接要求。最重要的是第三方追溯數(shù)據(jù)是否包含了步驟1中所指定的核心追溯數(shù)據(jù)元標(biāo)準(zhǔn)。因?yàn)楹诵淖匪輸?shù)據(jù)元標(biāo)準(zhǔn)規(guī)定了保證追溯數(shù)據(jù)關(guān)聯(lián)的最小數(shù)據(jù)集合，因此哪怕是一個(gè)數(shù)據(jù)元的缺失都可能造成整個(gè)追溯鏈的斷裂。因此不滿足要求的第三方追溯數(shù)據(jù)提供者需要對(duì)相關(guān)系統(tǒng)進(jìn)行改造后，使之能夠滿足核心追溯數(shù)據(jù)元的要求，才能實(shí)施數(shù)據(jù)對(duì)接。

3、建立數(shù)據(jù)元映射

        滿足要求的第三方追溯數(shù)據(jù)集需要依據(jù)追溯核心數(shù)據(jù)元標(biāo)準(zhǔn)，建立第三方數(shù)據(jù)集與中心端數(shù)據(jù)湖數(shù)據(jù)元的一一映射關(guān)系，以保證第三個(gè)數(shù)據(jù)以規(guī)范統(tǒng)一的格式進(jìn)入數(shù)據(jù)湖，以便開展后續(xù)的數(shù)據(jù)關(guān)聯(lián)和分析工作。

4、數(shù)據(jù)上傳

        映射關(guān)系建立完成，則可啟動(dòng)第三方追溯數(shù)據(jù)的上傳。為保證數(shù)據(jù)上傳不會(huì)重復(fù)，需要對(duì)該上傳過程進(jìn)行控制，如設(shè)計(jì)數(shù)據(jù)同步的CDC (change data capture)）功能，僅實(shí)現(xiàn)增量數(shù)據(jù)的及時(shí)上傳與同步。

5、數(shù)據(jù)連接與分析

        數(shù)據(jù)上傳同步完成，在中心端數(shù)據(jù)湖當(dāng)中就有了農(nóng)產(chǎn)品在供應(yīng)鏈不同環(huán)節(jié)、不同責(zé)任主體間流動(dòng)的追溯數(shù)據(jù)，就能夠?qū)崿F(xiàn)以全過程追溯為目的的追溯數(shù)據(jù)關(guān)聯(lián)查詢與分析了，也就是通常所講的全過程追溯。

五    中央存儲(chǔ)與分布式存儲(chǔ)之爭(zhēng)

        追溯數(shù)據(jù)對(duì)接與同步的中央存儲(chǔ)與分布存儲(chǔ)之爭(zhēng)由來已久。追溯數(shù)據(jù)上傳至統(tǒng)一的中心端數(shù)據(jù)存儲(chǔ)，能夠最大程度保證數(shù)據(jù)的規(guī)范性，確保追溯數(shù)據(jù)的連通性，有利于全過程追溯的實(shí)現(xiàn)。但相應(yīng)地，會(huì)在很大程度上喪失靈活性。目前GS1（GDSN，全球數(shù)據(jù)同步網(wǎng)絡(luò)）和大多數(shù)國(guó)家追溯平臺(tái)都采用這種方式。

        而分布式存儲(chǔ)則采用一種追溯數(shù)據(jù)“按需存取”的方式。追溯數(shù)據(jù)依照相關(guān)標(biāo)準(zhǔn)存放在第三方數(shù)據(jù)存儲(chǔ)上，需要數(shù)據(jù)查詢時(shí)，由數(shù)據(jù)代理通過互聯(lián)網(wǎng)發(fā)出請(qǐng)求到相應(yīng)的第三方追溯系統(tǒng)，調(diào)取權(quán)限范圍允許的數(shù)據(jù)，由數(shù)據(jù)代理返回給查詢發(fā)起者。這種方式的優(yōu)點(diǎn)是相對(duì)靈活，但由于農(nóng)產(chǎn)品生產(chǎn)經(jīng)營(yíng)責(zé)任主體對(duì)追溯本能的抗拒，如果缺乏有效的機(jī)制作為保障，實(shí)現(xiàn)預(yù)期效果有一定難度。歐盟提出的“Generic Enabler”以及現(xiàn)階段如火如荼的區(qū)塊鏈就是采用這樣的思路。目前可見的成功案例除了一些內(nèi)部供應(yīng)鏈完整且完全可控的大型企業(yè)（如沃爾瑪），尚未見其他成功案例。

        具體采用何種方式進(jìn)行追溯數(shù)據(jù)對(duì)接，最終還是取決于具體的項(xiàng)目需求，權(quán)衡利弊后做出選擇。

六    智云天地在追溯數(shù)據(jù)對(duì)接方面所做的工作

        預(yù)料到追溯數(shù)據(jù)對(duì)接會(huì)成為農(nóng)產(chǎn)品追溯領(lǐng)域的剛性需求，智云天地農(nóng)業(yè)信息技術(shù)（北京）有限公司在三年前就開始布局并實(shí)現(xiàn)追溯數(shù)據(jù)對(duì)接的技術(shù)實(shí)現(xiàn)。所做的具體工作包括：

        1、參照發(fā)達(dá)國(guó)家全過程追溯系統(tǒng)及其標(biāo)準(zhǔn)制定中央端核心數(shù)據(jù)元（最小集合）標(biāo)準(zhǔn)。為農(nóng)產(chǎn)品質(zhì)量安全追溯數(shù)據(jù)對(duì)接提供規(guī)范參考；

        2、制定了第三方追溯系統(tǒng)對(duì)接數(shù)據(jù)接口規(guī)范。通過“推”模式，基于微服務(wù)架構(gòu)，實(shí)現(xiàn)第三方追溯系統(tǒng)數(shù)據(jù)上傳、轉(zhuǎn)換與存儲(chǔ)；

        3、開發(fā)通用農(nóng)產(chǎn)品追溯第三方數(shù)據(jù)對(duì)接平臺(tái)，檢驗(yàn)第三方數(shù)據(jù)合法性，開發(fā)第三方（企業(yè)和服務(wù)商）數(shù)據(jù)對(duì)接微服務(wù)接口，實(shí)現(xiàn)農(nóng)產(chǎn)品生產(chǎn)經(jīng)營(yíng)責(zé)任主體統(tǒng)一注冊(cè)備案、第三方追溯數(shù)據(jù)的數(shù)據(jù)元映射管理、數(shù)據(jù)上傳，以及中心端基于統(tǒng)一追溯業(yè)務(wù)模型的全過程追溯數(shù)據(jù)的關(guān)聯(lián)與可視化分析呈現(xiàn)等功能。

        目前智云天地農(nóng)業(yè)信息技術(shù)（北京）有限公司已經(jīng)在北京市農(nóng)業(yè)局“北京蔬菜”市域質(zhì)量安全追溯平臺(tái)建設(shè)項(xiàng)目中實(shí)現(xiàn)了大興區(qū)、平谷區(qū)、昌平區(qū)、密云區(qū)、懷柔區(qū)、延慶區(qū)、順義區(qū)、通州區(qū)等30余家企業(yè)內(nèi)部追溯平臺(tái)追溯數(shù)據(jù)與市域追溯平臺(tái)的對(duì)接，實(shí)現(xiàn)了部分企業(yè)/合作社跨供應(yīng)鏈的蔬菜產(chǎn)品追溯。

        追溯體系的建設(shè)是一項(xiàng)復(fù)雜的系統(tǒng)工程，涉及到組織結(jié)構(gòu)、追溯數(shù)據(jù)、軟硬件系統(tǒng)和技術(shù)實(shí)現(xiàn)等多個(gè)必要條件。追溯數(shù)據(jù)對(duì)接作為數(shù)據(jù)與技術(shù)的重要組成部分，其重要性將會(huì)逐漸顯現(xiàn)出來，特別對(duì)于我國(guó)追溯體系建設(shè)分散、缺乏統(tǒng)一性和規(guī)范性的情況下，已經(jīng)成為我國(guó)追溯體系建設(shè)的主要瓶頸，并在某種程度上制約了追溯體系的可持續(xù)發(fā)展與規(guī)范化過程。因此，這一問題應(yīng)該且必須得到解決。

本文只是討論了追溯數(shù)據(jù)對(duì)接過程中的一些關(guān)鍵問題。由于水平所限，缺陷和問題在所難免，懇請(qǐng)各位領(lǐng)導(dǎo)專家批評(píng)指正。

本文作者：智云天地  侯寧