|
===================================== 〔語彙分解〕的な部分一致の検索結果は以下の通りです。 ・ コンテキスト ： [こんてきすと] (n) context, (n) context ・ テキス ： [てきす] (n) text, (n) text
データ圧縮アルゴリズムにおいて、コンテキスト・ミキシング (context mixing) とは、次に現れる符号の予測を二つ以上の統計的モデルの組み合わせによって行う方法である。これによって、個々のモデルのみを用いるより正確に予測できることが期待できる。最も簡単な組み合わせ方を一つ挙げると、それぞれのモデルが算出する確率の平均をとって予測とする方法である。また、他の簡単な方法としては、ランダムフォレストが挙げられる。これはそれぞれのモデルが算出する予測の最頻値を最終的な答えとするものである。複数のモデルの組み合せは、機械学習の研究において活発な領域のひとつである。[''citation needed">citation needed''] Matt Mahoneyが2002年にPAQ 1をリリースしたことに始まるデータ圧縮プログラムPAQは、入力の個々のビットに対する確率を決めるためにコンテキストミキシングを使っている。 == データ圧縮への応用 == 条件付き確率 と が与えられた時、 つまり と の両方が起きているという条件下で事象 が起こる確率を推定したいとする。確率論 によれば、これら と は を推定するのに十分な情報とはいえない。実際に、それに対応する適当なケースを考えれば、結果 はどんな値でもとることができる。しかし直観的には、その結果は二つのある種の平均となることを期待できるだろう。 この問題はデータ圧縮で重要となっている。データ圧縮に応用して考えるとき、AとBは文脈（コンテキスト）を指し、事象 は次のビットや符号をある値に圧縮できることを指す。また、 と は、（それぞれ文脈 A、B を情報として用いる）ふたつの独立したモデルが算出する が起こる確率の推定値を指す。コンテキストミキシングは扱おうとする問題は、 と は の現れる回数を数えることで正確な推定値を求めることができるが、 を計算できるほど文脈 ・ が両方同時に現れる場面がなかったり、それらの文脈の組み合わせが莫大な量となるため記録するための十分な計算資源（時間やメモリ）がとれない場合であっても、推定値 をなんとか計算したいということである。 たとえば、テキストファイルを圧縮しようとする場合を考えよう。ここで、次の文字が改行であるかどうかを予測しようとしたとする。ここで、この予測しようとしている文字の手前の一文字はピリオドであり（これをコンテキスト とする）、前回の改行は 72 文字前に現れた（コンテキスト とする）ことがわかっているものとする。 ここで、これまでに現れたテキストで直近の 5 つのピリオドをみるとそのうち 1 つでその直後に改行が見られ () 、また、1行の中の72文字目という場所に注目すると10行中5行でその位置で改行されているとする()。これらの予測は、どのように組み合わせるべきだろうか。 ここで、線形ミキシングやロジスティックミキシングといった、コンテキストミキシングの一般的なアプローチを使われることになる。線形ミキシングは、実績により加重された二つの予想の平均をとる。この例では、 は より重い重み付けが与えられる。なぜなら、はより多くの実績に基づいているからである。 古いバージョンの PAQ はこのアプローチをとっている〔Mahoney, M. (2005), "Adaptive Weighing of Context Models for Lossless Data Compression", ''Florida Tech. ''〕。新しいバージョンではロジスティックミキシング（あるいはニューラルネットワーク）を使う。これは、まずはじめに確率の推定値 をロジスティック領域 に変換してから平均をとる〔Mahoney, M. "PAQ8 Data Compression Program" . 〕。これにより、0 や 1 に近い推定値に対して、より大きな重み付けが与えられるようにすることができる。この例の場合では、 に対してより大きな重みがつけられる。また、どちらの平均を使う場合でも、過去の予測が正確であったモデルを重視するように付加的な重みを与えることができる。最初期のPAQ以外のバージョンではこの調節機能が使われている。 多くのコンテキストミキシング圧縮プログラムでは、1ビット単位で予測する。したがって出力する確率は次のビットが 1 であるかどうかという情報のみで足りる。 抄文引用元・出典: フリー百科事典『 ウィキペディア（Wikipedia）』 ■ウィキペディアで「コンテキスト・ミキシング」の詳細全文を読む スポンサード リンク
|