Энтропи (лингвистика)

Ку терминăн урăх пĕлтерĕшсем пур, Энтропи (пĕлтерĕшсем) пăхăр.

Чĕлхе энтропийĕ — пĕр-пĕр чĕлхеллĕ текстăн е леш хайхи чĕлхен хăйĕн статистикăлла функцийĕ; вăл текст пĕрчи тĕлне мĕн чухлĕ информаци килнине палăрть.

Математика енчен пăхсан, чĕлхен энтропине çапла палăртаççĕ

$r=H\left(M\right)/N$

кунт $M$ — хыпар, $H\left(M\right)$ — унăн (хыпарăн) информацилле энтропийĕ, $N$ — хыпар тăршшĕ.

Клод Шеннон тата Томас Кавер тăрăх, акăлчан чĕлхишĕн ку кап кашни саспалли пуçне 1,3 битран пуçласа 2,3 бит хушшинчи хисеппе танлашать.

Вуламалли

• Шнайер Б. Глава 11. Математические основы. Энтропия языка. // Прикладная криптография. Протоколы, алгоритмы, исходные тексты на языке Си = Applied Cryptography. Protocols, Algorithms and Source Code in C. — М.: Триумф, 2002. — С. 269. — 816 с. — 3000 экз. — ISBN 5-89392-055-4.
• C. E. Shannon. Prediction and entropy of printed English (англ.) // Bell Systems Technical Journal. — 1951. — Vol. 30. — P. 50—64. Архивировано 5 февраля 2007 года.
• Cover, T., King, R. A convergent gambling estimate of the entropy of English // Information Theory, IEEE Transactions on. — 1978. — Т. 24, вып. 4. — С. 413 - 421. — ISSN 0018-9448.