摘要 網(wǎng)絡(luò)購物的發(fā)展非常迅速,目前能在網(wǎng)上購買的商品已經(jīng)十分豐富,能在市場上買到的商品,幾乎都能在網(wǎng)上買到。隨著網(wǎng)絡(luò)購物市場的發(fā)展,出現(xiàn)了很多的購物網(wǎng),如京東,卓越,當(dāng)當(dāng),淘寶等。因?yàn)檫\(yùn)作模式的不同,對于同樣的商品,這些購物網(wǎng)在同一時(shí)間對同一商品的售價(jià)往往是不同的。對于客戶來說,在網(wǎng)上購物時(shí),都希望以最低的價(jià)格購得看中的商品。為了達(dá)到這一目的,需要到各購物網(wǎng)上去查詢看中的商品的價(jià)格,比較之后才能知道最低的價(jià)格。顯然,這樣做是非常麻煩的,用戶需要打開很多個(gè)Web頁面,搜索到商品后,記錄下價(jià)格后再做比較。如果有一套系統(tǒng),能自動(dòng)的在購物網(wǎng)站搜集商品價(jià)格信息,并將價(jià)格比較的結(jié)果展現(xiàn)出來,那將會(huì)給用戶提供非常大的便利,本文的目的就是研究如何實(shí)現(xiàn)這種比價(jià)系統(tǒng)。

該系統(tǒng)主要分為兩個(gè)部分，數(shù)據(jù)抽取部分以及比價(jià)部分。數(shù)據(jù)的抽取部分采用Java編寫的WebMagic爬蟲對購物網(wǎng)站的商品信息進(jìn)行抽取。