條件獨立性假設(shè)是什么，什么叫條件獨立概率

來源：整理時間：2023-01-30 15:48:30 編輯：金融知識手機版

本文目錄一覽

1，什么叫條件獨立概率
2，條件概率獨立性判斷的問題
3，概率證明題證明條件獨立
4，項目反應(yīng)理論的IRT的理論體系三條基本假設(shè)
5，用于數(shù)據(jù)挖掘的分類算法有哪些各有何優(yōu)劣

1，什么叫條件獨立概率

兩個事件關(guān)于某一個事件乘積的概率，等于條件概率的積。P(AB/C)=P(A/C)P(B/C)則A、B條件獨立。

如果在獨立鏈中各個語言的成分出現(xiàn)的概率不相等，（有的出現(xiàn)的概率高，有的出現(xiàn)的概率低）那么這種概率叫做不等概率獨立鏈。

什么叫條件獨立概率

2，條件概率獨立性判斷的問題

如A與B獨立那p(b/a)=p(b), p(-b/-a)=p(-b)p(b)+p(-b)=1所以原假設(shè)成立

你好：條件概率滿足概率的一切性質(zhì)：所以p（aub|c）=p(a|c)+p(b|c)-p(ab|c)如果滿意，請采納，謝謝。

條件概率獨立性判斷的問題

3，概率證明題證明條件獨立

如果E,I 是條件獨立的，p(A,E,I) = p(e)p(i/e)p(a/e,i)因為 p(A,E,I) = p(E)p(I)p(A|E,I)p(i/e)=p(I) 所以E,I 并不是條件獨立的。是對事件獨立概念的理解用反證法

P(E,I|A)=P(A,E,I)/P(A)=P(E)P(I)*P(A|E,I)/P(A)因為A 和EI不獨立P(A|E,I)顯然不等于P(A)所以P(E,I|A)也不等于P(E)P(I)即結(jié)論

概率證明題證明條件獨立

4，項目反應(yīng)理論的IRT的理論體系三條基本假設(shè)

– 假設(shè)一：能力單維性假設(shè)——指組成某個測驗的所有項目都是測量同一潛在特質(zhì)；– 假設(shè)二：局部獨立性假設(shè)——指對某個被試而言，項目間無相關(guān)存在；– 假設(shè)三：項目特征曲線假設(shè)——指對被試某項目的正確反映概率與其能力之間的函數(shù)關(guān)系所作的模型。IRT最大的優(yōu)點是題目參數(shù)的不變性，即題目參數(shù)的估計獨立于被試組。它假定，被試在某一試題上的成績不受他在測驗中其他試題上的成績影響；同時，在試題上各個被試的作答也是彼此獨立的，僅由各被試的潛在特質(zhì)水平所決定，一個被試的成績不影響另一被試的成績，這就叫做局部獨立性假設(shè)。IRT理論所做出的一切推論都必須以局部獨立性假設(shè)為前提。

5，用于數(shù)據(jù)挖掘的分類算法有哪些各有何優(yōu)劣

常見的機器學(xué)習(xí)分類算法就有，不常見的更是數(shù)不勝數(shù)，那么我們針對某個分類問題怎么來選擇比較好的分類算法呢？下面介紹一些算法的優(yōu)缺點：1. 樸素貝葉斯比較簡單的算法，所需估計的參數(shù)很少，對缺失數(shù)據(jù)不太敏感。如果條件獨立性假設(shè)成立，即各特征之間相互獨立，樸素貝葉斯分類器將會比判別模型，如邏輯回歸收斂得更快，因此只需要較少的訓(xùn)練數(shù)據(jù)。就算該假設(shè)不成立，樸素貝葉斯分類器在實踐中仍然有著不俗的表現(xiàn)。如果你需要的是快速簡單并且表現(xiàn)出色，這將是個不錯的選擇。其主要缺點現(xiàn)實生活中特征之間相互獨立的條件比較難以實現(xiàn)。2. 邏輯回歸模型訓(xùn)練時，正則化方法較多，而且你不必像在用樸素貝葉斯那樣擔(dān)心你的特征是否相關(guān)。與決策樹與支持向量機相比，邏輯回歸模型還會得到一個不錯的概率解釋，你甚至可以輕松地利用新數(shù)據(jù)來更新模型（使用在線梯度下降算法）。如果你需要一個概率架構(gòu)（比如簡單地調(diào)節(jié)分類閾值，指明不確定性，獲得置信區(qū)間），或者你以后想將更多的訓(xùn)練數(shù)據(jù)快速整合到模型中去，邏輯回歸是一個不錯的選擇。3. 決策樹決策樹的分類過程易于解釋說明。它可以毫無壓力地處理特征間的交互關(guān)系并且是非參數(shù)化的，因此你不必擔(dān)心異常值或者數(shù)據(jù)是否線性可分。它的一個缺點就是不支持在線學(xué)習(xí)，于是在新樣本到來后，決策樹需要全部重建。另一個缺點是容易過擬合，但這也就是諸如隨機森林（或提升樹）之類的集成方法的切入點。另外，隨機森林經(jīng)常是多分類問題的贏家（通常比支持向量機好上那么一點），它快速并且可調(diào)，同時你無須擔(dān)心要像支持向量機那樣調(diào)一大堆參數(shù)，所以隨機森林相當(dāng)受歡迎。4. 支持向量機高準(zhǔn)確率，為避免過擬合提供了很好的理論保證，而且就算數(shù)據(jù)在原特征空間線性不可分，只要給個合適的核函數(shù)，它就能運行得很好。在超高維的文本分類問題中特別受歡迎?？上?nèi)存消耗大，難以解釋，運行和調(diào)參也有些煩人，所以我認(rèn)為隨機森林要開始取而代之了。但是，好的數(shù)據(jù)卻要優(yōu)于好的算法，設(shè)計優(yōu)良特征比優(yōu)良的算法好很多。假如你有一個超大數(shù)據(jù)集，那么無論你使用哪種算法可能對分類性能都沒太大影響（此時就根據(jù)速度和易用性來進行抉擇）。如果你真心在乎準(zhǔn)確率，你一定得嘗試多種多樣的分類器，并且通過交叉驗證選擇最優(yōu)。

1. 樸素貝葉斯(naive bayes, nb)超級簡單，就像做一些數(shù)數(shù)的工作。如果條件獨立假設(shè)成立的話，nb將比鑒別模型（如logistic回歸）收斂的更快，所以你只需要少量的訓(xùn)練數(shù)據(jù)。即使條件獨立假設(shè)不成立，nb在實際中仍然表現(xiàn)出驚人的好。如果你想做類似半監(jiān)督學(xué)習(xí)，或者是既要模型簡單又要性能好，nb值得嘗試。2. logistic回歸(logistic regression, lr)lr有很多方法來對模型正則化。比起nb的條件獨立性假設(shè)，lr不需要考慮樣本是否是相關(guān)的。與決策樹與支持向量機（svm）不同，nb有很好的概率解釋，且很容易利用新的訓(xùn)練數(shù)據(jù)來更新模型（使用在線梯度下降法）。如果你想要一些概率信息（如，為了更容易的調(diào)整分類閾值，得到分類的不確定性，得到置信區(qū)間），或者希望將來有更多數(shù)據(jù)時能方便的更新改進模型，lr是值得使用的。3.決策樹（decision tree, dt）dt容易理解與解釋。dt是非參數(shù)的，所以你不需要擔(dān)心野點（或離群點）和數(shù)據(jù)是否線性可分的問題（例如，dt可以輕松的處理這種情況：屬于a類的樣本的特征x取值往往非常小或者非常大，而屬于b類的樣本的特征x取值在中間范圍）。dt的主要缺點是容易過擬合，這也正是隨機森林（random forest, rf）（或者boosted樹）等集成學(xué)習(xí)算法被提出來的原因。此外，rf在很多分類問題中經(jīng)常表現(xiàn)得最好（我個人相信一般比svm稍好），且速度快可擴展，也不像svm那樣需要調(diào)整大量的參數(shù)，所以最近rf是一個非常流行的算法。4.支持向量機（support vector machine, svm）很高的分類正確率，對過擬合有很好的理論保證，選取合適的核函數(shù)，面對特征線性不可分的問題也可以表現(xiàn)得很好。svm在維數(shù)通常很高的文本分類中非常的流行。由于較大的內(nèi)存需求和繁瑣的調(diào)參，我認(rèn)為rf已經(jīng)開始威脅其地位了。