譯者序在當(dāng)今這個(gè)信息爆炸的時(shí)代，海量數(shù)據(jù)的涌現(xiàn)為各行各業(yè)帶來(lái)了前所未有的機(jī)遇與挑戰(zhàn)。如何從紛繁復(fù)雜的數(shù)據(jù)中精準(zhǔn)提取出有價(jià)值的信息，成為亟待解決的問(wèn)題。而實(shí)體消解技術(shù)，正是應(yīng)對(duì)這一問(wèn)題的關(guān)鍵利器之一。無(wú)論是在商業(yè)智能領(lǐng)域助力企業(yè)精準(zhǔn)洞察客戶需求、優(yōu)化供應(yīng)鏈管理，還是在學(xué)術(shù)研究中整合多源異構(gòu)數(shù)據(jù)以挖掘新知識(shí)，乃至協(xié)助政府部門(mén)進(jìn)行公共事務(wù)管理、提升社會(huì)治理效能，實(shí)體消解技術(shù)都發(fā)揮著重要作用。顧名思義，實(shí)體消解就是將不同數(shù)據(jù)源中指代同一實(shí)體的多個(gè)記錄識(shí)別出來(lái)并將其合并為統(tǒng)一實(shí)體表示的過(guò)程。實(shí)體消解技術(shù)通過(guò)一系列復(fù)雜的算法和流程，實(shí)現(xiàn)數(shù)據(jù)的精準(zhǔn)對(duì)接與融合，從而為后續(xù)的數(shù)據(jù)分析、知識(shí)發(fā)現(xiàn)、業(yè)務(wù)決策等環(huán)節(jié)奠定堅(jiān)實(shí)的基礎(chǔ)。本書(shū)正是對(duì)這一重要技術(shù)的全面而深入的剖析。從基礎(chǔ)概念的闡釋?zhuān)�到�?shí)際操作的指導(dǎo)，再到前沿技術(shù)的探討，本書(shū)涵蓋了實(shí)體消解的方方面面。書(shū)中對(duì)每個(gè)步驟都進(jìn)行了細(xì)致的講解，不僅提供了豐富的理論知識(shí)，還結(jié)合實(shí)際案例，展示了如何在具體場(chǎng)景下應(yīng)用這些技術(shù)和方法。本書(shū)既有高屋建瓴的理論闡述，又有細(xì)致入微的代碼示例與案例剖析，相信無(wú)論讀者是初涉該領(lǐng)域、渴望構(gòu)建扎實(shí)的知識(shí)根基的新手，還是經(jīng)驗(yàn)頗豐、尋求創(chuàng)新思路與技術(shù)進(jìn)階的專(zhuān)業(yè)人士，都能從這本書(shū)中覓得所需。衷心期望本書(shū)的問(wèn)世，能夠?yàn)樽x者的事業(yè)與研究注入新的活力，助力更多讀者跨越知識(shí)鴻溝，在實(shí)體消解乃至更廣闊的數(shù)據(jù)處理天地中自由馳騁，開(kāi)啟數(shù)字化智慧之旅。讀者在閱讀過(guò)程中，如果發(fā)現(xiàn)問(wèn)題或錯(cuò)誤，歡迎與我聯(lián)系，我的電子郵箱是seancheney@qq.com。林潤(rùn)前言人們都希望做出更好的決策。無(wú)論是為了更好地服務(wù)客戶，還是為了保障客戶的安全，人們都希望做出正確的判斷并開(kāi)展正確的工作。為了能夠自信地行動(dòng)，人們需要了解服務(wù)對(duì)象及其信息。雖然人們時(shí)常有大量數(shù)據(jù)可以使用，但這些 數(shù)據(jù)往往是孤立的，難以完整描述個(gè)體全貌。實(shí)體消解是連接數(shù)據(jù)、串聯(lián)數(shù)據(jù)并揭示全貌的技術(shù)。本書(shū)是一本實(shí)操指南，旨在幫助讀者了解實(shí)體消解廣闊的知識(shí)背景，掌握實(shí)體消解技術(shù)并靈活運(yùn)用它。 數(shù)據(jù)匹配看起來(lái)很容易，但通過(guò)本書(shū)，讀者將了解到數(shù)據(jù)匹配并非總是一帆風(fēng) 順的。不過(guò)不用擔(dān)心，閱讀完全書(shū)，讀者就能夠克服這些挑戰(zhàn)，讓數(shù)據(jù)集煥發(fā)生機(jī)。本書(shū)讀者本書(shū)適合金融服務(wù)、制藥業(yè)或其他大型企業(yè)的產(chǎn)品經(jīng)理、數(shù)據(jù)分析師或數(shù)據(jù)科學(xué)家閱讀。如果你正面臨數(shù)據(jù)孤島難題、不同數(shù)據(jù)庫(kù)中的客戶信息存在分歧， 或者你要合并來(lái)自不同組織或附屬公司的信息，本書(shū)也適合你。負(fù)責(zé)防范金融犯罪、管理聲譽(yù)及供應(yīng)鏈風(fēng)險(xiǎn)的風(fēng)險(xiǎn)管理專(zhuān)家，也能從本書(shū)對(duì)數(shù)據(jù)匹配挑戰(zhàn)及其解決策略的深入討論中受益。為什么撰寫(xiě)本書(shū)實(shí)體消解的挑戰(zhàn)無(wú)處不在。雖然我們可能不常用這個(gè)術(shù)語(yǔ)，但實(shí)體消解過(guò)程每天都在重復(fù)發(fā)生。在完成本書(shū)的幾周前，妻子讓我?guī)椭�她核�?duì)銀行對(duì)賬單上的 付款人名單，以確認(rèn)名單上的人是否都付款了。這正是實(shí)體消解的實(shí)際應(yīng)用！創(chuàng)作本書(shū)的想法，源于我想要闡釋為什么核對(duì)名單上的匹配項(xiàng)并不像聽(tīng)起來(lái)那么簡(jiǎn)單，還想展示一些現(xiàn)在可用于高效處理實(shí)體消解問(wèn)題的優(yōu)秀工具和技術(shù)。通過(guò)介紹一些真實(shí)案例，我希望讀者能夠自信地對(duì)數(shù)據(jù)集進(jìn)行匹配，從而更好 地服務(wù)并保護(hù)客戶。非常歡迎讀者向我分享讀書(shū)的心得體會(huì)，或是對(duì)本書(shū)的任何反饋。如果對(duì)本書(shū)附帶的代碼有任何疑問(wèn)，歡迎在 GitHub（https://github. com/mshearer0/HandsOnEntityResolution ）上提出。若想討論實(shí)體消解問(wèn)題，請(qǐng)通過(guò) LinkedIn（https://www.linkedin.com/in/mshearer0）聯(lián)系我。實(shí)體消解既是一門(mén)技藝，也是一門(mén)科學(xué)。不存在適用于所有數(shù)據(jù)集的通用解決方案，因此開(kāi)發(fā)者需要根據(jù)自身需求調(diào)整算法，以達(dá)成期望結(jié)果。希望本書(shū)讀 者能夠相互幫助，找到最佳解決方案，通過(guò)分享彼此的經(jīng)驗(yàn)，讓眾人受益。本書(shū)導(dǎo)覽本書(shū)旨在提供實(shí)體消解的實(shí)操指南，因此鼓勵(lì)讀者在逐章學(xué)習(xí)時(shí)動(dòng)手運(yùn)行代碼。本書(shū)的核心原則是通過(guò)使用真實(shí)的開(kāi)源數(shù)據(jù)，展示實(shí)體消解中的挑戰(zhàn)與解決方案。但是，使用開(kāi)源數(shù)據(jù)可能會(huì)面臨一些挑戰(zhàn)，因?yàn)殚_(kāi)源數(shù)據(jù)集在發(fā)布后可能 會(huì)有更新，導(dǎo)致讀者的運(yùn)算結(jié)果略有不同。請(qǐng)查看 GitHub頁(yè)面（https://github.com/mshearer0/HandsOnEntityResolution），以獲取及時(shí)更新，并訪問(wèn)最新代碼。本書(shū)各章內(nèi)容如下：?　　第 1 章簡(jiǎn)要介紹實(shí)體消解，解釋為什么需要進(jìn)行實(shí)體消解，及實(shí)體消解包含的主要步驟。?　　第 2 章闡述在嘗試匹配記錄之前，數(shù)據(jù)標(biāo)準(zhǔn)化的重要性。?　　第 3 章至第 6 章展示如何使用模糊匹配和概率匹配方法，比較數(shù)據(jù)記錄以消解實(shí)體。?　　第 7 章介紹對(duì)于描述同一實(shí)體的記錄，將其聚類(lèi)到唯一可識(shí)別簇的過(guò)程。?　　第 8 章和第 9 章展示如何使用云計(jì)算服務(wù)大規(guī)模實(shí)施實(shí)體消解。?　　第 10 章介紹如何利用記錄關(guān)聯(lián)技術(shù)保護(hù)數(shù)據(jù)所有者隱私。?　　第 11 章介紹對(duì)實(shí)體消解算法設(shè)計(jì)的進(jìn)一步思考，并展望實(shí)體消解技術(shù)的未來(lái)發(fā)展。建議讀者連續(xù)閱讀第 2 章至第 9 章，因?yàn)檫@些章節(jié)會(huì)使用相同的數(shù)據(jù)集逐步構(gòu) 建出實(shí)體消解解決方案。本書(shū)假定讀者具備 Python 基礎(chǔ)知識(shí)。如有學(xué)習(xí)需要，可訪問(wèn)互動(dòng)教程網(wǎng)站 http://learnpython.org。此外，強(qiáng)烈推薦 Wes McKinney 所著的 Python for Data Analysis一書(shū)。對(duì)于更有經(jīng)驗(yàn)的讀者，建議學(xué)習(xí) pandas、Spark 和 Google Cloud Platform，肯定能有所收獲。