GeneralNewsExtractor(新聞網(wǎng)頁(yè)正文通用抽取器)是一個(gè)基于《基于文本及符號(hào)密度的網(wǎng)頁(yè)正文提取方法》論文用Python實(shí)現(xiàn)的正文抽取器，可以用來提取 HTML 中正文的內(nèi)容、作者、標(biāo)題。

開發(fā)介紹

項(xiàng)目起源

開發(fā)這個(gè)項(xiàng)目，源自于我在知網(wǎng)發(fā)現(xiàn)了一篇關(guān)于自動(dòng)化抽取新聞?lì)惥W(wǎng)站正文的算法論文——《基于文本及符號(hào)密度的網(wǎng)頁(yè)正文提取方法》）

這篇論文中描述的算法看起來簡(jiǎn)潔清晰，并且符合邏輯。但由于論文中只講了算法原理，并沒有具體的語言實(shí)現(xiàn)，所以我使用 Python 根據(jù)論文實(shí)現(xiàn)了這個(gè)抽取器。并分別使用今日頭條、網(wǎng)易新聞、游民星空、觀察者網(wǎng)、鳳凰網(wǎng)、騰訊新聞、ReadHub、新浪新聞做了測(cè)試，發(fā)現(xiàn)提取效果非常出色，幾乎能夠達(dá)到100%的準(zhǔn)確率。

項(xiàng)目現(xiàn)狀

在論文中描述的正文提取基礎(chǔ)上，我增加了標(biāo)題、發(fā)布時(shí)間和文章作者的自動(dòng)化探測(cè)與提取功能。

目前這個(gè)項(xiàng)目是一個(gè)非常非常早期的 Demo，發(fā)布出來是希望能夠盡快得到大家的使用反饋，從而能夠更好地有針對(duì)性地進(jìn)行開發(fā)。

本項(xiàng)目取名為抽取器，而不是爬蟲，是為了規(guī)避不必要的風(fēng)險(xiǎn)，因此，本項(xiàng)目的輸入是 HTML，輸出是一個(gè)字典。請(qǐng)自行使用恰當(dāng)?shù)姆椒ǐ@取目標(biāo)網(wǎng)站的 HTML。

本項(xiàng)目現(xiàn)在不會(huì)，將來也不會(huì)提供主動(dòng)請(qǐng)求網(wǎng)站 HTML 的功能。