對網站進行優化的成敗及最終效果取決于搜索引擎如何看待我們的工作。如果在優化過程中不遵循基本的SEO原則，那么，無論付出多大都不會取得意想中的效果：如果我們所做的一切并沒有被搜索引擎“看”到，我們的網站在搜索頁面中的排名怎么會靠前呢？
什么是Spider
Spider是搜索引擎用來訪問Internet上網站的自動程序（即通常意義上的Robots）。一般說來，不同搜索引擎的Spider的功能與手段大致相同，它們都用來在網站內“爬行”，讀取Web頁面，將其納入搜索引擎的索引數據，在此基礎上，搜索引擎才能依據各自的算法決定索引數據庫中網站的相關性、排名等，當然，不同的搜索引擎采用不同的算法，索引網站的具體技術也各有特征，不過，我們今天要討論的重點是Spider對什么感興趣，哪些又是Spider所忽略的——畢竟spider決定別人是否能夠發現我們的網站——了解了這些，我們才能更有針對性地建設、改進我們的網站。
從根本上說，正因為搜索引擎的 spiders 只是“程序”，這就決定了其不可能象人那樣去讀相應的網站，比如說，象圖片、Flash、JavaScript等可以對人視覺有很大沖擊的建設對Spider來說則是“不可見的”，它們只認識特定的標識。這就需要我們針對Spider的“好惡”來調整網站的建設。
Flash、JavaScript、圖片與框架
對spider來說，Flash、JavaScript、與圖片中的文本是不可見的，框架在很多時候對 SEO來說則更是一場災難。也許上述的元素可以讓我們的頁面更漂亮更吸引人，但對搜索引擎來說則是另一回事。至于在某些圖形建設者網站常見的使用Flash首頁的情況更要命，在那些頁面中，關鍵詞與鏈接均被嵌入在flash中，這根本不能被搜索引擎解讀嘛，搜索引擎在這樣的頁面上幾乎看不到任何感興趣的東西，這還談什么搜索結果排名？
事實上，Spider讀取頁面的方式類似于“古老”的文本瀏覽器，它們看不到文本之外的其他內容，所以，圖片中的文字對Spider來說毫無意義。對于網站中必須使用的圖片與Flash，可以采用在其的alt屬性中加入對圖片的描述，當然，在描述中要注意不要過度使用關鍵詞，不然又走向了另一個極端即“關鍵詞填充”。
鏈接
很多網站在鏈接中使用javascript如mouse over事件來實現很華麗的效果，但這樣的鏈接Spider往往不能有效地解讀而被忽略，這就造成了Spider在網站內“爬行”的中止。對這類問題的解決辦法是加上＜noscript＞標簽，把相應的鏈接添加到＜noscript＞語句中。
動態頁面
動態生成的網站，尤其是使用類似于“？id=14”的頁面，對 spiders 來說也是很難理解的，雖然大多數搜索引擎一直在著力解決這個問題，但在很多情況下仍不能象靜態網站那樣對spider更友善。如果條件允許的話，可以通過采用相應的url Rewrite技術來說spider認為那是一個靜態網站，縮小其閱讀的難度。
為確保無誤，在網站建設好后，可以使用spider模擬器來檢查一下Spider眼中我們的網站是什么樣子的，是不是與我們建設的初衷有所偏離。類似的spider模擬器網上很多，如這個。畢竟，只有在保證我們的網站能夠被搜索引擎正常收錄的條件下，談搜索引擎排名的優化才有意義。