📀 🔌 ✋🏾 Représentation d'objets pour l'apprentissage automatique basé sur treillis Ⓜ️ 👨🏿‍🤝‍👨🏼 👨‍🔧

Ceci est le quatrième article d'une série (liens vers les premier , deuxième et troisièmearticles), consacré au système d'apprentissage automatique basé sur la théorie des treillis, appelé «système VKF». Le programme utilise des algorithmes basés sur des chaînes de Markov pour générer les causes de la propriété cible en calculant un sous-ensemble aléatoire de similitudes entre certains groupes d'objets d'apprentissage. Cet article décrit la représentation d'objets via des chaînes de bits afin de calculer les similitudes par multiplication au niveau du bit des représentations correspondantes. Les objets avec des caractéristiques discrètes nécessitent une certaine technique de l'analyse de concept formelle. Le cas des objets à caractéristiques continues utilise la régression logistique, divisant la zone de changement en sous-intervalles en utilisant la théorie de l'information et une représentation correspondant à l'enveloppe convexe des intervalles comparés.

j'ai une idée!

1 Signes discrets

, , - . , ""/"". 'null' ( '_' ), () .

. . , .

( , ), () .

$\langle{L,\wedge,\vee}\rangle$ $G$ () $\wedge$ - $M$ () $\vee$ - . $gIm\Leftrightarrow{g\geq{m}}$ $(G,M,I)$ $L(G,M,I)$ , $\langle{L,\wedge,\vee}\rangle$ .

$x\in{L}$ $\langle{L,\wedge,\vee}\rangle$ $\vee$ -, $x\neq\emptyset$ $y,z\in{L}$ $y<x$ $z<x$ $y\vee{z}<x$ .

$x\in{L}$ $\langle{L,\wedge,\vee}\rangle$ $\wedge$ -, $x\neq\textbf{T}$ $y,z\in{L}$ $x<y$ $x<z$ $x<y\wedge{z}$ .

$\wedge$ - , , $\vee$ - , .

éléments irréductibles

( . $(L,L,\geq)$ )

G\M	h	i	j	k
a	1	1	1	0
b	0	1	1	1
c	1	1	0	0
d	1	0	1	0
f	0	1	0	1
g	0	0	1	1

, .

, 121 , 24 !

, :

.
$\geq$ , ( $\vee$ - ).
( $\vee$ -) .
.

CPython-: 'vkfencoder' vkfencoder.XMLImport 'vkf' vkf.FCA. — : vkf.FCA MariaDB, vkfencoder.XMLImport XML .

2

. C4.5 .

, .

, , , . .

2.1

, . .

$E=G\cup{O}$ $G$ - $O$ . $[a,b)\subseteq\textbf{R}$ $V:G\to\textbf{R}$ $G[a,b)=\lbrace{g\in{G}: a\leq{V(g)}<b}\rbrace,$ $O[a,b)=\lbrace{g\in{O}: a\leq{V(g)}<b}\rbrace$

$E[a,b)=\lbrace{g\in{E}: a\leq{V(g)}<b}\rbrace$ .

$[a,b)\subseteq\textbf{R}$ $V:G\to\textbf{R}$

e n t [a, b) = - \frac{| G [a, b) |}{| E [a, b) |} \cdot \log_{2} (\frac{| G [a, b) |}{| E [a, b) |}) - \frac{| O [a, b) |}{| E [a, b) |} \cdot \log_{2} (\frac{| O [a, b) |}{| E [a, b) |})

${\rm{ent}}[a,b)=-\frac{\vert{G[a,b)}\vert}{\vert{E[a,b)}\vert}\cdot\log_{2}\left(\frac{\vert{G[a,b)}\vert}{\vert{E[a,b)}\vert}\right)-\frac{\vert{O[a,b)}\vert}{\vert{E[a,b)}\vert}\cdot\log_{2}\left(\frac{\vert{O[a,b)}\vert}{\vert{E[a,b)}\vert}\right)$

$a<r<b$ $[a,b)\subseteq\textbf{R}$ $V:G\to\textbf{R}$

i n f [a, r, b) = \frac{| E [a, r) |}{| E [a, b) |} \cdot e n t [a, r) + \frac{| E [r, b) |}{| E [a, b) |} \cdot e n t [r, b) .

${\rm{inf}}[a,r,b)=\frac{\vert{E[a,r)}\vert}{\vert{E[a,b)}\vert}\cdot{\rm{ent}}[a,r)+\frac{\vert{E[r,b)}\vert}{\vert{E[a,b)}\vert}\cdot{\rm{ent}}[r,b).$

— $V=r$ .

$V:G\to\textbf{R}$ $a=\min\{V\}$ $v_{0}$ , $v_{l+1}$ , $b=\max\{V\}$ . $\lbrace{v_{1}<\ldots<v_{l}}\rbrace$ .

2.2

$2l$ , $l$ — . ()

δ_{i}^{V} (g) = 1 \Leftrightarrow V (g) \geq v_{i} σ_{i}^{V} (g) = 1 \Leftrightarrow V (g) < v_{i},

$\delta_{i}^{V}(g)=1 \Leftrightarrow V(g)\geq{v_{i}} \\ \sigma_{i}^{V}(g)=1 \Leftrightarrow V(g)<v_{i},$

$1\leq{i}\leq{l}$ .

$\delta_{1}^{V}(g)\ldots\delta_{l}^{V}(g)\sigma_{1}^{V}(g)\ldots\sigma_{l}^{V}(g)$ $V$ $g\in{E}$ .

, — .

$\delta_{1}^{(1)}\ldots\delta_{l}^{(1)}\sigma_{1}^{(1)}\ldots\sigma_{l}^{(1)}$ $v_{i}\leq{V(A_{1})}<v_{j}$ $\delta_{1}^{(2)}\ldots\delta_{l}^{(2)}\sigma_{1}^{(2)}\ldots\sigma_{l}^{(2)}$ $v_{n}\leq{V(A_{2})}<v_{m}$ .

(δ_{1}^{(1)} \cdot δ_{1}^{(2)}) \dots (δ_{l}^{(1)} \cdot δ_{l}^{(2)}) (σ_{1}^{(1)} \cdot σ_{1}^{(2)}) \dots (σ_{l}^{(1)} \cdot σ_{l}^{(2)})

$(\delta_{1}^{(1)}\cdot\delta_{1}^{(2)})\ldots(\delta_{l}^{(1)}\cdot\delta_{l}^{(2)})(\sigma_{1}^{(1)}\cdot\sigma_{1}^{(2)})\ldots(\sigma_{l}^{(1)}\cdot\sigma_{l}^{(2)})$

$\min\lbrace{v_{i},v_{n}}\rbrace\leq{V((A_{1}\cup{A_{2}})'')}<\max\lbrace{v_{j},v_{m}}\rbrace$ .

, $0\ldots00\ldots0$ $\min\{V\}\leq{V((A_{1}\cup{A_{2}})'')}\leq\max\{V\}$ .

2.3

. ( 1). . , .

$p_{i_{1}}\vee\ldots\vee{p_{i_{k}}}$ $p_{i_{1}}+\ldots+{p_{i_{k}}}>\sigma$ $0<\sigma<1$ .

— $c:$ R $^{d}\to\lbrace{0,1}\rbrace$ , $\textbf{R}^{d}$ — ( $d$ ) $\lbrace{0,1}\rbrace$ — .

, $\langle{\vec{X},K}\rangle\in\text{R}^{d}\times\lbrace{0,1}\rbrace$ ,

p_{\vec{X}, K} (\vec{x}, k) = p_{\vec{X}} (\vec{x}) \cdot p_{K ∣ \vec{X}} (k ∣ \vec{x}),

$p_{\vec{X},K}(\vec{x},k)=p_{\vec{X}}(\vec{x})\cdot{p_{K\mid\vec{X}}(k\mid\vec{x})},$

$p_{\vec{X}}(\vec{x})$ — () , a $p_{K\mid\vec{X}}(k\mid\vec{x})$ — , .. $\vec{x}\in\text{R}^{d}$

p_{K ∣ \vec{X}} (k ∣ \vec{x}) = P {K = k ∣ \vec{X} = \vec{x}} .

$p_{K\mid\vec{X}}(k\mid\vec{x})=\textbf{P}\lbrace{K=k\mid\vec{X}=\vec{x}}\rbrace.$

$c:\textbf{R}^{d}\to\lbrace{0,1}\rbrace$

R (c) = P {c (\vec{X}) \neq K} .

$R(c)=\textbf{P}\left\lbrace{c(\vec{X})\neq{K}}\right\rbrace.$

$b:\textbf{R}^{d}\to\lbrace{0,1}\rbrace$ $p_{K\mid\vec{X}}(k\mid\vec{x})$

b (\vec{x}) = 1 \Leftrightarrow p_{K ∣ \vec{X}} (1 ∣ \vec{x}) > \frac{1}{2} > p_{K ∣ \vec{X}} (0 ∣ \vec{x})

$b(\vec{x})=1 \Leftrightarrow p_{K\mid\vec{X}}(1\mid\vec{x})>\frac{1}{2}>p_{K\mid\vec{X}}(0\mid\vec{x})$

$b$ :

\forall c : R^{d} \to {0, 1} [R (b) = P {b (\vec{X}) \neq K} \leq R (c)]

$\forall{c:\textbf{R}^{d}\to\lbrace{0,1}\rbrace}\left[R(b)=\textbf{P}\lbrace{b(\vec{X})\neq{K}}\rbrace\leq{R(c)}\right]$

p_{K ∣ \vec{X}} (1 ∣ \vec{x}) = \frac{p_{\vec{X} ∣ K} (\vec{x} ∣ 1) \cdot P {K = 1}}{p_{\vec{X} ∣ K} (\vec{x} ∣ 1) \cdot P {K = 1} + p_{\vec{X} ∣ K} (\vec{x} ∣ 0) \cdot P {K = 0}} = = \frac{1}{1 + \frac{p_{\vec{X} ∣ K} (\vec{x} ∣ 0) \cdot P {K = 0}}{p_{\vec{X} ∣ K} (\vec{x} ∣ 1) \cdot P {K = 1}}} = \frac{1}{1 + \exp {- a (\vec{x})}} = σ (a (\vec{x})),

$p_{K\mid\vec{X}}(1\mid\vec{x})=\frac{p_{\vec{X}\mid{K}}(\vec{x}\mid{1})\cdot\textbf{P}\lbrace{K=1}\rbrace}{p_{\vec{X}\mid{K}}(\vec{x}\mid{1})\cdot\textbf{P}\lbrace{K=1}\rbrace+p_{\vec{X}\mid{K}}(\vec{x}\mid{0})\cdot\textbf{P}\lbrace{K=0}\rbrace}= \\ =\frac{1}{1+\frac{p_{\vec{X}\mid{K}}(\vec{x}\mid{0})\cdot\textbf{P}\lbrace{K=0}\rbrace}{p_{\vec{X}\mid{K}}(\vec{x}\mid{1})\cdot\textbf{P}\lbrace{K=1}\rbrace}}=\frac{1}{1+\exp\lbrace{-a(\vec{x})}\rbrace}=\sigma(a(\vec{x})),$

$a(\vec{x})=\log\frac{p_{\vec{X}\mid{K}}(\vec{x}\mid{1})\cdot\textbf{P}\lbrace{K=1}\rbrace}{p_{\vec{X}\mid{K}}(\vec{x}\mid{0})\cdot\textbf{P}\lbrace{K=0}\rbrace}$ $\sigma(y)=\frac{1}{1+\exp\lbrace{-y}\rbrace}$ — .

2.4

$\langle\vec{x}_{1},k_{1}\rangle,\dots,\langle\vec{x}_{n},k_{n}\rangle$ $t_{j}=2k_{j}-1$ .

\log {p (t_{1}, \dots, t_{n} ∣ {\vec{x}}_{1}, \dots, {\vec{x}}_{n}, \vec{w})} = - \sum_{j = 1}^{n} \log [1 + \exp {- t_{j} \sum_{i = 1}^{m} w_{i} φ_{i} ({\vec{x}}_{j})}] .

$\log\lbrace{p(t_{1},\dots,t_{n}\mid\vec{x}_{1},\ldots,\vec{x}_{n},\vec{w})}\rbrace=-\sum_{j=1}^{n}\log\left[1+\exp\lbrace{-t_{j}\sum_{i=1}^{m}w_{i}\varphi_{i}(\vec{x}_{j})}\rbrace\right].$

L (w_{1}, \dots, w_{m}) = - \sum_{j = 1}^{n} \log [1 + \exp {- t_{j} \sum_{i = 1}^{m} w_{i} φ_{i} ({\vec{x}}_{j})}] \to max

$L(w_{1},\ldots,w_{m})=-\sum_{j=1}^{n}\log\left[1+\exp\lbrace{-t_{j}\sum_{i=1}^{m}w_{i}\varphi_{i}(\vec{x}_{j})}\rbrace\right]\to\max$

{\vec{w}}_{t + 1} = {\vec{w}}_{t} - (\nabla_{{\vec{w}}^{T}} \nabla_{\vec{w}} L ({\vec{w}}_{t}))^{- 1} \cdot \nabla_{\vec{w}} L ({\vec{w}}_{t}) .

$\vec{w}_{t+1}=\vec{w}_{t}-(\nabla_{\vec{w}^{T}}\nabla_{\vec{w}}L(\vec{w}_{t}))^{-1}\cdot\nabla_{\vec{w}}L(\vec{w}_{t}).$

$s_{j}=\frac{1}{1+\exp\lbrace{t_{j}\cdot{(w^{T}\cdot\Phi(x_{j}))}}\rbrace}$

\nabla L (\vec{w}) = - Φ^{T} d i a g (t_{1}, \dots, t_{n}) \vec{s}, \nabla \nabla L (\vec{w}) = Φ^{T} R Φ,

$\nabla{L(\vec{w})}=-\Phi^{T}{\rm{diag}}(t_{1},\ldots,t_{n})\vec{s}, \nabla\nabla{L(\vec{w})}=\Phi^{T}R\Phi,$

$R={\rm{diag}}(s_{1}(1-s_{1}), s_{2}(1-s_{2}), \ldots, s_{n}(1-s_{n}))$ —

$s_{1}(1-s_{1}), s_{2}(1-s_{2}), \ldots, s_{n}(1-s_{n})$ ${\rm{diag}}(t_{1},\ldots,t_{n})\vec{s}$ — $t_{1}s_{1}, t_{2}s_{2}, \ldots, t_{n}s_{n}$ .

{\vec{w}}_{t + 1} = {\vec{w}}_{t} + {(Φ^{T} R Φ)}^{- 1} Φ^{T} d i a g (t) \vec{s} = (Φ^{T} R Φ)^{- 1} Φ^{T} R \vec{z},

$\vec{w}_{t+1}=\vec{w}_{t}+\left(\Phi^{T}R\Phi\right)^{-1}\Phi^{T}{\rm{diag}}(t)\vec{s}= (\Phi^{T}R\Phi)^{-1}\Phi^{T}R\vec{z},$

$\vec{z}=\Phi\vec{w}_{t}+R^{-1}{\rm{diag}}(t_{1},\ldots,t_{n})\vec{s}$ — .

, - -

{\vec{w}}_{t + 1} = (Φ^{T} R Φ + λ \cdot I)^{- 1} \cdot (Φ^{T} R \vec{z}) .

$\vec{w}_{t+1}=(\Phi^{T}R\Phi+\lambda\cdot{I})^{-1}\cdot(\Phi^{T}R\vec{z}).$

"-" : 1 .

, . :

- $V_{k}$ ,

R^{2} = 1 - \exp {2 (L (w_{0}, \dots, w_{k - 1}) - L (w_{0}, \dots, w_{k - 1}, w_{k})) / n} \geq σ

$R^{2}=1-\exp\lbrace{2(L(w_{0},\ldots, w_{k-1})-L(w_{0},\ldots,w_{k-1},w_{k}))/n}\rbrace\geq\sigma$

$V_{k}$ ,

1 - \frac{L (w_{0}, \dots, w_{k - 1}, w_{k})}{L (w_{0}, \dots, w_{k - 1})} \geq σ

$1-\frac{L(w_{0},\ldots,w_{k-1},w_{k})}{L(w_{0},\ldots,w_{k-1})}\geq\sigma$

"-" Wine Quality ( . ). . ( >7), .

( 2.3) "" "". ( ) , 0 1. " " "" .

Mais la situation avec la paire («pH», «alcool») était radicalement différente. Le poids "alcool" était positif, tandis que le poids "pH" était négatif. Mais avec l'aide d'une transformation logique évidente, nous avons obtenu l'implication ("pH" $\Rightarrow$ "de l'alcool").

L'auteur tient à remercier ses collègues et étudiants pour leur soutien et leurs encouragements.

Représentation d'objets pour l'apprentissage automatique basé sur treillis

1 Signes discrets

2

2.1

2.2

2.3

2.4

More articles: