搜索引擎優(yōu)化對爬蟲軟件會產(chǎn)生哪些影響？首先就是使用既定的規(guī)則來進行編碼和解碼。企業(yè)為了保持互聯(lián)網(wǎng)跨平臺共享信息的優(yōu)點則需要采用一種互聯(lián)網(wǎng)通用的語言，可以讓各種不同操作系統(tǒng)或者平臺的軟件都能夠較好地去解釋網(wǎng)頁。因此就會出現(xiàn)了HTML語言，事實上這種語言是一種標準化的對象語言。其特點就是與XML數(shù)據(jù)庫相類似，實際上HTML語言的核心思想就是將網(wǎng)頁中所有的元素都轉換成一個個不同的對象，因此工作人員在對網(wǎng)頁進行解釋和編碼的過程中，則可以非常明確的去指導不同元素所代表的一些內(nèi)容或者在網(wǎng)頁中的位置。一般從目前的網(wǎng)頁組成來說，基本都會存在幾個比較主要的部分。

　　第一是title, 意思就是整個網(wǎng)頁的標題。第二就是body, 就是我們整個網(wǎng)頁的主要部分，這個部分就包含了網(wǎng)頁中的主要內(nèi)容，還包含了文字的敘述內(nèi)容，或者是對圖像化的圖片內(nèi)容等等。通常來講，我們的爬蟲軟件在對網(wǎng)站中的網(wǎng)頁進行分析時，提取其關鍵字主要就是依靠兩個方面來進行關鍵詞的判斷，第一部分就是根據(jù)網(wǎng)站title中的內(nèi)容來分析該網(wǎng)站網(wǎng)頁的主體，第二部分則是根據(jù)網(wǎng)站網(wǎng)頁中的body里含有的文字敘述來進行分析。另外，爬蟲軟件在對網(wǎng)站的網(wǎng)頁進行分析時，除了對于網(wǎng)站的title分析以外，還會對于網(wǎng)站中的文字敘述進行分析。

　　通過不同網(wǎng)頁中關鍵詞出現(xiàn)頻率的對比，來提取最能表現(xiàn)網(wǎng)站主體的關鍵詞，并將其作為其特征向量的“維度”。因此從這一方面來講影響網(wǎng)站與關于通過提高頻率來改變網(wǎng)頁排序的方式較為常用，因此也出現(xiàn)了針對這種辦法的懲罰措施。一般而言 ，通過提高頻率來改變網(wǎng)站的網(wǎng)頁排序主要是依靠關鍵詞的不斷堆砌，而懲罰措施則是針對這種關鍵詞的堆砌進行的一種懲罰。但是在合理的范圍內(nèi)增加關鍵詞在網(wǎng)頁中出現(xiàn)的頻率依然可以改變該網(wǎng)站在對應關鍵詞下搜索時的排序結果。