二、改善SQL 語句
很多人不知道SQL 語句在SQL SERVER 中 是如何執(zhí)行的,他們擔(dān)心自己所寫的SQL 語句會被SQL SERVER 誤解。比如:
select * from table1 where name=’zhangsan’ and tID > 10000
和執(zhí)行:
select * from table1 where tID > 10000 and name=’zhangsan’
一些人不知道以上兩條語句的執(zhí)行效率是否一樣,因為如果簡單的從語句先后上看,這兩個語句的確是不一 樣,如果tID 是一個聚合索引,那么后一句僅僅從表的10000 條以后的記錄中查找就行了;而前一 句則要先從全表中查找看有幾個name=’zhangsan’ 的,而后再根據(jù)限制條件條件tID>10000 來 提出查詢結(jié)果。
事實(shí)上,這樣的擔(dān)心是不必要的。SQL SERVER 中有一個“查詢分析優(yōu) 化器”,它可以計算出where 子句中的搜索條件并確定哪個索引能縮小表掃描的搜索空間,也就是說,它能實(shí)現(xiàn)自動優(yōu)化。
雖然查詢優(yōu)化器可以根據(jù)where 子句自動的進(jìn)行查詢優(yōu)化,但大家仍然有必 要了解一下“查詢優(yōu)化器”的工作原理,如非這樣,有時查詢優(yōu)化器就會不按照您的本意進(jìn)行快速查詢。
在查詢分析階段,查詢優(yōu)化器查看查詢的每個階段并決定限制需要掃描的數(shù)據(jù)量是否有用。如果一個階段可以 被用作一個掃描參數(shù)(SARG ),那么就稱之為可優(yōu)化的,并且可以利用索引快速獲得所需數(shù)據(jù)。
SARG 的定義:用于限制搜索的一個操作,因為它通常是指一個特定的匹配, 一個值得范圍內(nèi)的匹配或者兩個以上條件的AND 連接。形式如下:
列名 操作符 < 常數(shù) 或 變量>
或
< 常數(shù) 或 變量> 操作符列名
列名可以出現(xiàn)在操作符的一邊,而常數(shù)或變量出現(xiàn)在操作符的另一邊。如:
Name= ’ 張三 ’
價格>5000
5000< 價格
Name= ’ 張三 ’ and 價格>5000
如果一個表達(dá)式不能滿足SARG 的形式,那它就無法限制搜索的范圍了,也就 是SQL SERVER 必須對每一行都判斷它是否滿足where 子句中的所有條件。所以一個索引對 于不滿足SARG 形式的表達(dá)式來說是無用的。
介紹完SARG 后,我們來總結(jié)一下使用SARG 以 及在實(shí)踐中遇到的和某些資料上結(jié)論不同的經(jīng)驗:
1 、Like 語 句是否屬于SARG 取決于所使用的通配符的類型
如:name like ‘ 張% ’ , 這就屬于SARG
而:name like ‘ % 張 ’ , 就不屬于SARG 。
原因是通配符% 在字符串的開通使得索引無法使用。
2 、or 會 引起全表掃描
Name= ’ 張三 ’ and 價格>5000 符號SARG ,而:Name= ’ 張 三 ’ or 價格>5000 則不符 合SARG 。使用or 會引起全表掃描。
3 、非操作符、函數(shù)引起的 不滿足SARG 形式的語句
不滿足SARG 形式的語句最典型的情況就是包括非操作符的語句,如:NOT 、!= 、<> 、!< 、!> 、NOT EXISTS 、NOT IN 、NOT LIKE 等,另外還有函數(shù)。下面就是幾個不 滿足SARG 形式的例子:
ABS( 價格)<5000
Name like ‘ % 三 ’
有些表達(dá)式,如:
where 價格*2>5000
SQL SERVER 也會認(rèn)為是SARG ,SQL SERVER 會將此式轉(zhuǎn)化為:
where 價格>2500/2
但我們不推薦這樣使用,因為有時SQL SERVER 不能保證這種轉(zhuǎn)化與原 始表達(dá)式是完全等價的。
4 、IN 的 作用相當(dāng)與OR
語句:
select * from table1 where tid in (2,3)
和
select * from table1 where tid=2 or tid=3
是一樣的,都會引起全表掃描,如果tid 上有索引,其索引也會失效。
5 、盡量少用NOT
6 、exists 和 in 的執(zhí)行效率是一樣的
很多資料上都顯示說,exists 要比in 的執(zhí) 行效率要高,同時應(yīng)盡可能的用not exists 來代替not in 。但事實(shí)上,我試驗了一下, 發(fā)現(xiàn)二者無論是前面帶不帶not ,二者之間的執(zhí)行效率都是一樣的。因為涉及子查詢,我們試驗這次用SQL SERVER 自帶的pubs 數(shù)據(jù)庫。運(yùn)行前我們可以把SQL SERVER 的statistics I/O 狀態(tài)打開。
(1 )select title,price from titles where title_id in (select title_id from sales where qty>30)
表 ’sales’ 。掃描計數(shù) 18 ,邏輯讀 56 次,物理讀 0 次,預(yù)讀 0 次。
表 ‘titles’ 。掃描計數(shù) 1 ,邏輯讀 2 次,物理讀 0 次,預(yù)讀 0 次。
(2 )select title,price from titles where exists (select * from sales where sales.title_id=titles.title_id and qty>30)
表 ’sales’ 。掃描計數(shù) 18 ,邏輯讀 56 次,物理讀 0 次,預(yù)讀 0 次。
表 ‘titles’ 。掃描計數(shù) 1 ,邏輯讀 2 次,物理讀 0 次,預(yù)讀 0 次。
我們從此可以看到用exists 和用in 的執(zhí)行效率 是一樣的。
7 、用函數(shù)charindex() 和 前面加通配符% 的LIKE 執(zhí)行效率一樣
前面,我們談到,如果在LIKE 前面加上通配符% , 那么將會引起全表掃描,所以其執(zhí)行效率是低下的。但有的資料介紹說,用函數(shù)charindex() 來代替LIKE 速 度會有大的提升,經(jīng)我試驗,發(fā)現(xiàn)這種說明也是錯誤的:
select gid,title,fariqi,reader from tgongwen where charindex(‘ 刑偵支隊‘,reader)>0 and fariqi>’2004-5-5′
用時:7 秒,另外:掃描計數(shù) 4 ,邏輯讀 7155 次,物理讀 0 次,預(yù)讀 0 次。
select gid,title,fariqi,reader from tgongwen where reader like ‘%’ + ‘ 刑偵支隊‘ + ‘%’ and fariqi>’2004-5-5′
用時:7 秒,另外:掃描計數(shù) 4 ,邏輯讀 7155 次,物理讀 0 次,預(yù)讀 0 次。
8 、union 并 不絕對比or 的執(zhí)行效率高
我們前面已經(jīng)談到了在where 子句中使用or 會 引起全表掃描,一般的,我所見過的資料都是推薦這里用union 來代替or 。事實(shí)證明,這種說法對 于大部分都是適用的。
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=’2004-9-16′ or gid>9990000
用時:68 秒。掃描計數(shù) 1 ,邏輯讀 404008 次,物理讀 283 次,預(yù)讀 392163 次。
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=’2004-9-16′
union
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where gid>9990000
用時:9 秒。掃描計數(shù) 8 ,邏輯讀 67489 次,物理讀 216 次,預(yù)讀 7499 次。
看來,用union 在通常情況下比用or 的效率要高 的多。
但經(jīng)過試驗,筆者發(fā)現(xiàn)如果or 兩邊的查詢列是一樣的話,那么用union 則 反倒和用or 的執(zhí)行速度差很多,雖然這里union 掃描的是索引,而or 掃 描的是全表。
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=’2004-9-16′ or fariqi=’2004-2-5′
用時:6423 毫秒。掃描計數(shù) 2 ,邏輯讀 14726 次,物理讀 1 次,預(yù)讀 7176 次。
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=’2004-9-16′
union
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=’2004-2-5′
用時:11640 毫秒。掃描計數(shù) 8 ,邏輯讀 14806 次,物理讀 108 次,預(yù)讀 1144 次。
9 、字段提取要按照“需多 少、提多少”的原則,避免“select * ”
我們來做一個試驗:
select top 10000 gid,fariqi,reader,title from tgongwen order by gid desc
用時:4673 毫秒
select top 10000 gid,fariqi,title from tgongwen order by gid desc
用時:1376 毫秒
select top 10000 gid,fariqi from tgongwen order by gid desc
用時:80 毫秒
由此看來,我們每少提取一個字段,數(shù)據(jù)的提取速度就會有相應(yīng)的提升。提升的速度還要看您舍棄的字段的大小來 判斷。
10 、count(*) 不 比count( 字段) 慢
某些資料上說:用* 會統(tǒng)計所有列,顯然要比一個世界的列名效率低。這種說法其實(shí) 是沒有根據(jù)的。我們來看:
select count(*) from Tgongwen
用時:1500 毫秒
select count(gid) from Tgongwen
用時:1483 毫秒
select count(fariqi) from Tgongwen
用時:3140 毫秒
select count(title) from Tgongwen
用時:52050 毫秒
從以上可以看出,如果用count(*) 和用count( 主 鍵) 的速度是相當(dāng)?shù)模鴆ount(*) 卻比其他任何除主鍵以外的字段匯總速度要快,而且字段越 長,匯總的速度就越慢。我想,如果用count(*) , SQL SERVER 可能會自動查找最小 字段來匯總的。當(dāng)然,如果您直接寫count( 主鍵) 將會來的更直接些。
11 、order by 按聚集索引列排序效率最高
我們來看:(gid 是主鍵,fariqi 是聚合索引 列)
select top 10000 gid,fariqi,reader,title from tgongwen
用時:196 毫秒。 掃描計數(shù) 1 ,邏輯讀 289 次,物理讀 1 次,預(yù)讀 1527 次。
select top 10000 gid,fariqi,reader,title from tgongwen order by gid asc
用時:4720 毫秒。 掃描計數(shù) 1 ,邏輯讀 41956 次,物理讀 0 次,預(yù)讀 1287 次。
select top 10000 gid,fariqi,reader,title from tgongwen order by gid desc
用時:4736 毫秒。 掃描計數(shù) 1 ,邏輯讀 55350 次,物理讀 10 次,預(yù)讀 775 次。
select top 10000 gid,fariqi,reader,title from tgongwen order by fariqi asc
用時:173 毫秒。 掃描計數(shù) 1 ,邏輯讀 290 次,物理讀 0 次,預(yù)讀 0 次。
select top 10000 gid,fariqi,reader,title from tgongwen order by fariqi desc
用時:156 毫秒。 掃描計數(shù) 1 ,邏輯讀 289 次,物理讀 0 次,預(yù)讀 0 次。
從以上我們可以看出,不排序的速度以及邏輯讀次數(shù)都是和“order by 聚 集索引列” 的速度是相當(dāng)?shù)模@些都比“order by 非聚集索引列”的查詢速度是快得多的。
同時,按照某個字段進(jìn)行排序的時候,無論是正序還是倒序,速度是基本相當(dāng)?shù)摹?/p>
12 、高效的TOP
事實(shí)上,在查詢和提取超大容量的數(shù)據(jù)集時,影響數(shù)據(jù)庫響應(yīng)時間的最大因素不是數(shù)據(jù)查找,而是物理的I/0 操 作。如:
select top 10 * from (
select top 10000 gid,fariqi,title from tgongwen
where neibuyonghu=’ 辦公室‘
order by gid desc) as a
order by gid asc
這條語句,從理論上講,整條語句的執(zhí)行時間應(yīng)該比子句的執(zhí)行時間長,但事實(shí)相反。因為,子句執(zhí)行后返回 的是10000 條記錄,而整條語句僅返回10 條語句,所以影響數(shù)據(jù)庫響應(yīng)時間最大的因素是物理I/O 操 作。而限制物理I/O 操作此處的最有效方法之一就是使用TOP 關(guān)鍵詞了。TOP 關(guān) 鍵詞是SQL SERVER 中經(jīng)過系統(tǒng)優(yōu)化過的一個用來提取前幾條或前幾個百分比數(shù)據(jù)的詞。經(jīng)筆者在實(shí)踐中的應(yīng)用,發(fā)現(xiàn)TOP 確 實(shí)很好用,效率也很高。但這個詞在另外一個大型數(shù)據(jù)庫ORACLE 中卻沒有,這不能說不是一個遺憾,雖然在ORACLE 中 可以用其他方法(如:rownumber )來解決。在以后的關(guān)于“實(shí)現(xiàn)千萬級數(shù)據(jù)的分頁顯示存儲過程”的討論中,我們就將用到TOP 這 個關(guān)鍵詞。
到此為止,我們上面討論了如何實(shí)現(xiàn)從大容量的數(shù)據(jù)庫中快速地查詢出您所需要的數(shù)據(jù)方法。當(dāng)然,我們介紹的這些方法都是“軟”方法, 在實(shí)踐中,我們還要考慮各種“硬”因素,如:網(wǎng)絡(luò)性能、服務(wù)器的性能、操作系統(tǒng)的性能,甚至網(wǎng)卡、交換機(jī)等。
該文章在 2023/3/8 0:20:27 編輯過