From patchwork Sat Jun 21 19:27:31 2014 Content-Type: text/plain; charset="utf-8" MIME-Version: 1.0 Content-Transfer-Encoding: 7bit X-Patchwork-Submitter: Pravin Satpute X-Patchwork-Id: 1647 Received: (qmail 1209 invoked by alias); 21 Jun 2014 19:28:26 -0000 Mailing-List: contact libc-alpha-help@sourceware.org; run by ezmlm Precedence: bulk List-Id: List-Unsubscribe: List-Subscribe: List-Archive: List-Post: List-Help: , Sender: libc-alpha-owner@sourceware.org Delivered-To: mailing list libc-alpha@sourceware.org Received: (qmail 1187 invoked by uid 89); 21 Jun 2014 19:28:24 -0000 Authentication-Results: sourceware.org; auth=none X-Virus-Found: No X-Spam-SWARE-Status: No, score=-1.0 required=5.0 tests=AWL, BAYES_50, SPF_HELO_PASS, SPF_PASS, T_RP_MATCHES_RCVD autolearn=ham version=3.3.2 X-HELO: mx1.redhat.com Message-ID: <53A5DCA3.4010108@redhat.com> Date: Sun, 22 Jun 2014 00:57:31 +0530 From: Pravin Satpute User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:24.0) Gecko/20100101 Thunderbird/24.6.0 MIME-Version: 1.0 To: libc-alpha@sourceware.org CC: "Carlos O'Donell" , joseph@codesourcery.com Subject: [PATCH] [BZ 14094] Update locale data to Unicode 7.0.0 Hi All, Attached patch to fix this long pending issue. A. Process for updating locales/i18n ctype with new Unicode release is documented @ [1], I think it should get added either in WIKI, or docs folder of glibc. B. Patch adds two scripts to scripts folder and updates locales/i18n file gen-unicode-ctype-dcp.py - To generate upper, lower and alpha class from DerivedCoreProperties.txt [2] check-backcompatibility.py - to test whether updated locales/i18n is backward compatible with older one. C. Best way to check new updated i18n file is compatible with existing i18n file is a. copy new i18n file as a i18nnew b. check-backcompatibility.py i18n i18nnew > Report D. By using better file DerivedCoreProperties.txt from UCD for generating CTYPE, we found number of characters were improperly mapped to 'alpha' categories. Report/Analysis for backward compatibility is available AT backward-compatibility5_1-to-7_0 [3] Please suggest me proper place for backward-compatibility5_1-to-7_0 Next i am looking for UTF-8 file. Thanks, Pravin Satpute 1. https://github.com/pravins/glibc-i18n/blob/master/steps-to-generate-ctype 2. https://sourceware.org/bugzilla/show_bug.cgi?id=14094#c9 3. https://github.com/pravins/glibc-i18n/blob/master/unicode7-0/backward-compatibility5_1-to-7_0 From 2146935a47acd493bc784ab38e80a877ea0e647c Mon Sep 17 00:00:00 2001 From: Pravin Satpute Date: Sun, 22 Jun 2014 00:23:09 +0530 Subject: [PATCH 1/2] Resolves bug #14094 --- ChangeLog | 9 + include/stdc-predef.h | 5 +- localedata/ChangeLog | 6 + localedata/locales/i18n | 2749 ++++++++++++++++++++---------------- scripts/check-backcompatibility.py | 211 +++ scripts/gen-unicode-ctype-dcp.py | 89 ++ 6 files changed, 1841 insertions(+), 1228 deletions(-) create mode 100755 scripts/check-backcompatibility.py create mode 100755 scripts/gen-unicode-ctype-dcp.py diff --git a/ChangeLog b/ChangeLog index 67b7896..60c1ce7 100644 --- a/ChangeLog +++ b/ChangeLog @@ -1,3 +1,12 @@ +2014-06-22 Pravin Satpute + + * scripts/check-backcompatibility.py: New script for + testing backward compatibility of locales/i18n ctype + + * scripts/gen-unicode-ctype-dcp.py: New script for + generating locales/i18n upper, lower and alpha ctype from + DerivedCoreProperties.txt + 2014-06-21 Allan McRae * NEWS: Mention CVE-2014-4043. diff --git a/include/stdc-predef.h b/include/stdc-predef.h index 87e3666..f96d308 100644 --- a/include/stdc-predef.h +++ b/include/stdc-predef.h @@ -50,8 +50,9 @@ #endif /* wchar_t uses ISO/IEC 10646 (2nd ed., published 2011-03-15) / - Unicode 6.0. */ -#define __STDC_ISO_10646__ 201103L + Unicode 6.0. + Unicode 7.0.0 Published on 2014 June 16 */ +#define __STDC_ISO_10646__ 201406L /* We do not support C11 . */ #define __STDC_NO_THREADS__ 1 diff --git a/localedata/ChangeLog b/localedata/ChangeLog index 9dd3cf2..494d6b1 100644 --- a/localedata/ChangeLog +++ b/localedata/ChangeLog @@ -1,3 +1,9 @@ +2014-06-22 Pravin Satpute + + * locales/i18n: Updated to Unicode 7.0.0 + * locales/i18n: Backward compatibility report available + backward-compatibility5_1-to-7_0 file + 2014-06-20 Stefan Liebler * Makefile (LOCALES): Add en_GB.UTF-8. diff --git a/localedata/locales/i18n b/localedata/locales/i18n index 4f8b9e1..665a3cb 100644 --- a/localedata/locales/i18n +++ b/localedata/locales/i18n @@ -12,7 +12,7 @@ fax "" language "" territory "" revision "" -date "2008-04-13" +date "2014-06-21" % category "i18n:2000";LC_IDENTIFICATION category "i18n:2000";LC_CTYPE @@ -30,515 +30,458 @@ END LC_IDENTIFICATION LC_CTYPE % The following is the 14652 i18n fdcc-set LC_CTYPE category. -% It covers Unicode version 5.0.0. +% It covers Unicode version 7.0.0. % The character classes and mapping tables were automatically generated -% using the gen-unicode-ctype.c program. +% upper, lower and alpha are generated using gen-unicode-ctype-dcp.py +% remaining classes are generated by gen-unicode-ctype.c % The "upper" class reflects the uppercase characters of class "alpha" -upper / -% BASIC LATIN/ - ..;/ -% LATIN-1 SUPPLEMENT/ - ..;..;/ -% LATIN EXTENDED-A/ - ..(2)..;/ - ..(2)..;/ - ..(2)..;/ - ..(2)..;/ -% LATIN EXTENDED-B/ - ;..(2)..;;/ - ..;..;;;/ - ..;;;;/ - ..(2)..;/ - ;;;;;;..;/ - ;;;;;;;;/ - ;;/ - ..(2)..;/ - ..(2)..;/ - ;;;..;..(2)..;/ - ..(2)..;/ - ;;;;/ - ;..;;;;;/ -% BASIC GREEK/ - ;;;/ - ;..;;;;..;/ - ..;..(2)..;/ -% GREEK SYMBOLS AND COPTIC/ - ..(2)..;;/ - ;..;..;/ -% CYRILLIC/ - ..;..(2)..;/ - ;..(2)..;;..(2)..;/ - ..(2)..;/ -% CYRILLIC SUPPLEMENT/ - ..(2)..;/ -% ARMENIAN/ - ..;/ -% GEORGIAN/ -% is not addressed as the letters does not have a uppercase/lowercase relation/ -% well, there are three georgian blocks defined; one caseless (the one usually/ -% used), one defined as uppercase and one as lowercase. defining the uppercase one here/ - ..;/ -% LATIN EXTENDED ADDITIONAL/ - ..(2)..;/ - ..(2)..;;/ - ..(2)..;/ -% GREEK EXTENDED/ - ..;..;..;..;/ - ..;..(2)..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ -% LETTERLIKE SYMBOLS/ - ;..;/ - ;/ -% NUMBER FORMS/ - ..;/ - ;/ -% ENCLOSED ALPHANUMERICS/ - ..;/ -% GLAGOLITIC/ - ..;/ -% LATIN EXTENDED-C/ - ;..;..(2)..;..;/ - ;;;/ -% COPTIC/ - ..(2)..;/ -% CYRILLIC SUPPLEMENT 2/ - ..(2)..;..(2)..;..(2)..;/ -% LATIN EXTENDED-D/ - ..(2)..;..(2)..;..(2)..;/ - ..(2)..;/ -% HALFWIDTH AND FULLWIDTH FORMS/ - ..;/ -% DESERET/ - .. +upper \ + ..;..;..;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;..;;;..;/ + ;..;..;..;/ + ..;..;..;..;/ + ;;..;;;..;/ + ..;;..;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ..;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;..;..;/ + ;..;;;;;/ + ;;;;;..;/ + ;..;..;..;/ + ;..;;;;;/ + ;;;;;;;/ + ;;;..;..;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;..;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;..;..;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;..;/ + ..;..;..;..;/ + ;;;;..;..;/ + ..;..;..;..;/ + ;;..;..;;/ + ..;;;;..;/ + ..;..;;..;/ + ;..;..;;..;/ + ;;;..;;;/ + ..;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;..;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;..;..;/ + ..;..;..;/ + ..;..;..;/ + ;..;;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;;/ + ..;..;..;/ + % The "lower" class reflects the lowercase characters of class "alpha" -lower / -% BASIC LATIN/ - ..;/ -% LATIN-1 SUPPLEMENT/ - ;..;..;/ -% LATIN EXTENDED-A/ - ..(2)..;..(2)..;/ - ..(2)..;..(2)..;;/ -% LATIN EXTENDED-B/ - ;;;;;;;/ - ;;;;;;;;/ - ;;;;;;;;/ - ;;;..(2)..;/ - ..(2)..;;;;..(2)..;/ - ..(2)..;..(2)..;/ - ;;..(2)..;/ -% IPA EXTENSIONS/ - ;;;;;;;;;/ - ;;;;;;;;..;/ - ;/ -% COMBINING DIACRITICAL MARKS/ - ;/ -% BASIC GREEK/ - ;;;/ - ..;/ - ..;..;/ -% GREEK SYMBOLS AND COPTIC/ - ;;;;..(2)..;..;/ - ;;;/ -% CYRILLIC/ - ..;..(2)..;/ - ;..(2)..;..(2)..;/ - ;/ - ..(2)..;/ -% ARMENIAN/ - ..;/ -% PHONETIC EXTENSIONS/ - ;/ -% LATIN EXTENDED ADDITIONAL/ - ..(2)..;..;;..(2)..;/ -% GREEK EXTENDED/ - ..;..;..;..;/ - ..;..(2)..;..;..;/ - ..;..;..;;;/ - ;;;;;;;;/ - ;/ -% LETTERLIKE SYMBOLS/ - ;/ -% NUMBER FORMS/ - ..;;/ -% ENCLOSED ALPHANUMERICS/ - ..;/ -% GLAGOLITIC/ - ..;/ -% LATIN EXTENDED-C/ - ;;..(2)..;;;;/ - ..;/ -% COPTIC/ - ..(2)..;/ -% GEORGIAN SUPPLEMENT/ -% well, there are three georgian blocks defined; one caseless (the one usually/ -% used), one defined as uppercase and one as lowercase. defining the lowercase one here/ - ..;/ -% CYRILLIC SUPPLEMENT 2/ - ..(2)..;..(2)..;..(2)..;/ -% LATIN EXTENDED-D/ - ..(2)..;;..(2)..;..;/ - ..(2)..;..(2)..;;/ -% HALFWIDTH AND FULLWIDTH FORMS/ - ..;/ -% DESERET/ - .. +lower \ + ..;;;;..;/ + ..;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;..;;;;;/ + ;;;..;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;..;;;;/ + ..;;;..;;/ + ;;;;..;;/ + ;;;..;..;/ + ;;;;;;;/ + ;;;..;;;/ + ;;;;;;..;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;..;;..;/ + ;;;;;..;/ + ..;..;..;..;/ + ;;;;;..;/ + ;..;..;..;/ + ;;;;;;;/ + ;;;;..;;/ + ;..;..;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;..;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;..;/ + ..;..;..;;/ + ..;..;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;..;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;;..;/ + ..;..;..;..;/ + ..;..;;;..;/ + ;..;;;;;/ + ..;..;;..;/ + ;..;..;;..;/ + ;;;;..;..;/ + ..;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;..;;;;/ + ..;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;..;/ + ;;;;;;..;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;;;;/ + ;;;;..;;/ + ;;;;;;;/ + ;;..;;;;/ + ;;;;;;;/ + ..;;..;..;/ + ..;..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;;/ % The "alpha" class of the "i18n" FDCC-set is reflecting % the recommendations in TR 10176 annex A -alpha / -% BASIC LATIN/ - ..;..;/ -% LATIN-1 SUPPLEMENT/ - ;;;..;..;/ - ..;/ -% LATIN EXTENDED-A/ - ..;/ -% LATIN EXTENDED-B/ - ..;/ -% IPA EXTENSIONS/ - ..;/ -% SPACING MODIFIER LETTERS/ - ..;..;..;/ - ;/ -% COMBINING DIACRITICAL MARKS/ - ;/ -% BASIC GREEK/ - ..;..;..;;/ - ..;;..;/ - ..;/ -% GREEK SYMBOLS AND COPTIC/ - ..;..;/ -% CYRILLIC/ - ..;..;/ -% CYRILLIC SUPPLEMENT/ - ..;/ -% ARMENIAN/ - ..;;..;/ -% HEBREW/ - ..;..;/ -% ARABIC/ - ..;..;..;/ - ;..;..;..;;/ -% SYRIAC/ - ;..;..;/ -% ARABIC SUPPLEMENT/ - ..;/ -% THAANA/ - ..;;/ -% NKO/ - ..;..;;/ -% - All Matras of Indic and Sinhala are moved from punct to alpha class/ -% - Added Unicode 5.1 charctares of Indic scripts/ -% DEVANAGARI/ - ..;..;/ - ..;..;/ - ;;;..;/ -% TABLE 18 BENGALI/ - ..;..;;;..;/ - ..;;..;..;/ - ;;..;;/ - ;;..;..;/ -% GURMUKHI/ - ..;..;;;..;/ - ..;;;;;;;/ - ;..;;;..;;/ - ..;;..;/ -% GUJARATI/ - ..;/ - ..;..;..;/ - ..;;;..;..;/ - ..;..;/ - ;..;;/ -% ORIYA/ - ..;..;;;..;/ - ..;;;..;..;/ - ..;..;..;;;/ - ..;;;/ -% TAMIL/ - ;;..;..;..;;/ - ;;;;;;..;/ - ..;..;..;..;/ - ;;..;/ -% TELUGU/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ -% KANNADA/ - ..;..;..;..;/ - ..;..;..;..;..;/ - ..;;..;;;/ -% MALAYALAM/ - ..;..;..;..;/ - ..;..;/ - ..;..;;/ - ..;..;/ -% SINHALA/ - ..;..;..;..;;/ - ..;;/ - ..;;..;..;/ -% THAI/ - ..;..;..;..;/ -% LAO/ - ..;;..;;;/ - ..;..;..;;;/ - ..;..;..;;/ - ..;;..;/ -% TIBETAN/ - ;..;..;..;/ -% MYANMAR/ - ..;..;..;;;/ - ;..;..;;/ -% GEORGIAN/ - ..;..;;/ -% HANGUL JAMO/ - ..;..;..;/ -% ETHIOPIC/ - ..;..;/ - ..;;..;..;/ - ..;..;..;/ - ..;;..;..;/ - ..;/ - ..;..;/ -% ETHIOPIC EXTENDED/ - ..;/ -% CHEROKEE/ - ..;/ -% UNIFIED CANADIAN ABORIGINAL SYLLABICS/ - ..;..;/ -% OGHAM/ - ..;/ -% RUNIC/ - ..;..;/ -% TAGALOG/ - ..;..;/ -% HANUNOO/ - ..;/ -% BUHID/ - ..;/ -% TAGBANWA/ - ..;..;/ -% KHMER/ - ..;;;/ -% MONGOLIAN/ - ..;..;;/ -% LIMBU/ - ..;..;/ -% TAI LE/ - ..;..;/ -% NEW TAI LUE/ - ..;..;..;/ -% BUGINESE/ - ..;/ -% BALINESE/ - ..;..;..;/ -% SUNDANESE/ - ..;..;/ -% LEPCHA/ - ..;..;/ -% OL CHIKI/ - ..;/ -% PHONETIC EXTENSIONS/ - ..;/ -% LATIN EXTENDED ADDITIONAL/ - ..;..;/ -% GREEK EXTENDED/ - ..;..;..;..;/ - ..;;;;..;/ - ..;..;;..;/ - ..;..;..;..;/ - ..;..;/ -% SUPERSCRIPTS AND SUBSCRIPTS/ - ;;..;/ -% LETTERLIKE SYMBOLS/ - ;;..;;..;;/ - ;..;..;/ - ..;..;;/ -% NUMBER FORMS/ - ..;/ -% ENCLOSED ALPHANUMERICS/ - ..;/ -% GLAGOLITIC/ - ..;..;/ -% LATIN EXTENDED-C/ - ..;..;/ -% COPTIC/ - ..;/ -% GEORGIAN SUPPLEMENT/ - ..;/ -% TIFINAGH/ - ..;;/ -% ETHIOPIC EXTENDED/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;/ -% CJK SYMBOLS AND PUNCTUATION/ - ..;..;..;..;/ -% HIRAGANA/ - ..;..;/ -% KATAKANA/ - ..;..;/ -% BOPOMOFO/ - ..;/ -% HANGUL COMPATIBILITY JAMO/ - ..;/ -% BOPOMOFO EXTENDED/ - ..;/ -% KATAKANA PHONETIC EXTENSIONS/ - ..;/ -% CJK UNIFIED IDEOGRAPHS EXTENSION/ - ..;/ -% CJK UNIFIED IDEOGRAPHS/ - ..;/ -% YI SYLLABLES/ - ..;/ -% VAI SYLLABLES/ - ..;..;..;/ -% CYRILLIC SUPPLEMENT 2/ - ..;..;..;/ -% LATIN EXTENDED-D/ - ..;..;..;/ -% SYLOTI NEGRI/ - ;;..;..;..;/ -% PHAGS PA/ - ..;/ -% SAURASHTRA/ - ..;/ -% KAYAH LI/ - ..;/ -% REJANG/ - ..;/ -% CHAM/ - ..;..;..;/ -% HANGUL SYLLABLES/ - ..;/ -% CJK COMPATIBILITY IDEOGRAPHS/ - ..;..;/ - ..;/ -% ALPHABETIC PRESENTATION FORMS/ - ..;..;;..;/ - ..;..;;;;;/ - ;..;/ -% ARABIC PRESENTATION FORMS-A/ - ..;..;..;..;/ - ..;/ -% ARABIC PRESENTATION FORMS-B/ - ..;..;/ -% HALFWIDTH AND FULLWIDTH FORMS/ - ..;..;..;..;/ - ..;..;..;/ -% LINEAR B SYLLABARY/ - ..;..;/ - ..;..;/ - ..;..;/ -% LINEAR B IDEOGRAMS/ - ..;/ -% ANCIENT GREEK NUMBERS/ - ..;/ -% LYCIAN/ - ..;/ -% CARIAN/ - ..;/ -% OLD ITALIC/ - ..;/ -% GOTHIC/ - ..;/ -% UGARITIC/ - ..;/ -% OLD PERSIAN/ - ..;..;/ - ..;/ -% DESERET/ - ..;/ -% SHAVIAN/ - ..;/ -% OSMANYA/ - ..;..;/ -% CYPRIOT SYLLABARY/ - ..;;..;/ - ..;;;/ -% PHOENICIAN/ - ..;;..;/ -% KHAROSHTI/ - ..;..;/ -% CUNEIFORM/ - ..;/ -% CUNEIFORM NUMBERS AND PONCTUATION/ - ..;/ -% BYZANTINE MUSICAL SYMBOLS/ -% MATHEMATICAL ALPHANUMERIC SYMBOLS/ - ..;..;/ - ..;;..;/ - ..;..;;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;/ -% CJK UNIFIED IDEOGRAPHS EXTENSION/ - ..;/ -% CJK COMPATIBILITY IDEOGRAPHS SUPPLEMENT/ - ..;/ -% The non-ASCII number characters are included here because ISO C 99 / -% forbids us to classify them as digits; however, they behave more like / -% alphanumeric than like punctuation. / -% ARABIC/ - ..;..;/ -% DEVANAGARI/ - ..;/ -% BENGALI/ - ..;/ -% GURMUKHI/ - ..;/ -% GUJARATI/ - ..;/ -% ORIYA/ - ..;/ -% TAMIL/ - ..;/ -% TELUGU/ - ..;..;/ -% KANNADA/ - ..;/ -% MALAYALAM/ - ..;..;/ -% THAI/ - ..;/ -% LAO/ - ..;/ -% TIBETAN/ - ..;/ -% MYANMAR/ - ..;/ -% KHMER/ - ..;/ -% MONGOLIAN/ - ..;/ -% SUNDANESE/ - ..;/ -% LEPCHA/ - ..;/ -% OL CHIKI/ - ..;/ -% VAI/ - ..;/ -% SAURASHTRA/ - ..;/ -% KAYAH LI/ - ..;/ -% CHAM/ - ..;/ -% HALFWIDTH AND FULLWIDTH FORMS/ - .. +alpha \ + ..;..;;;;/ + ..;..;..;;/ + ..;..;..;;/ + ..;..;..;..;/ + ;;;..;;..;/ + ;..;;;..;/ + ;..;..;..;/ + ..;..;;..;/ + ..;;..;..;/ + ;..;..;..;/ + ..;;..;..;/ + ..;..;;..;/ + ;..;..;..;/ + ..;;..;..;/ + ;;;..;..;/ + ..;..;;..;/ + ..;;..;..;/ + ;..;;..;;/ + ..;..;..;..;/ + ..;;..;;;/ + ;..;..;..;/ + ..;;..;..;/ + ..;;..;;..;/ + ..;..;..;..;/ + ;..;;..;..;/ + ..;..;;;..;/ + ..;..;..;..;/ + ;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ;..;;..;..;/ + ;..;;..;..;/ + ..;..;..;..;/ + ;..;..;..;/ + ;..;;..;..;/ + ;..;..;..;/ + ..;..;..;..;/ + ;;;;..;..;/ + ..;;;..;..;/ + ..;;;;..;/ + ..;..;..;;/ + ..;..;..;..;/ + ..;;..;..;/ + ..;;;;..;/ + ..;..;..;..;/ + ;..;..;..;/ + ..;..;..;..;/ + ..;;..;..;/ + ..;..;..;..;/ + ;;;..;;..;/ + ..;;..;;..;/ + ..;..;;..;/ + ..;..;..;;/ + ..;..;..;..;/ + ;;..;..;..;/ + ..;..;..;..;/ + ;..;..;..;/ + ;..;..;..;/ + ;..;..;..;/ + ;;..;;..;/ + ;;..;..;..;/ + ;;..;..;;/ + ..;..;..;;/ + ..;;;..;;/ + ..;..;..;;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;;..;..;/ + ;..;..;..;/ + ..;..;;;..;/ + ..;..;..;..;/ + ;..;..;;;/ + ;..;;;..;/ + ;..;..;..;/ + ;..;..;..;/ + ..;..;..;;/ + ..;..;..;..;/ + ..;;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;;..;..;/ + ;..;;;..;/ + ;..;..;;;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;;..;/ + ;;;..;;;/ + ..;..;..;..;/ + ;..;;..;;/ + ..;;;..;;/ + ;..;..;;..;/ + ;..;..;..;/ + ..;..;..;;/ + ..;..;;;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;;..;/ + ..;..;..;..;/ + ..;..;..;;/ + ;;..;..;..;/ + ;..;..;..;/ + ..;..;..;..;/ + ;;..;;;..;/ + ;..;;;;..;/ + ..;..;;..;/ + ..;;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;;;..;/ + ;..;..;..;/ + ..;..;..;..;/ + ..;..;..;;/ + ;;;..;..;/ + ..;;;..;..;/ + ;..;..;;..;/ + ..;..;..;..;/ + ..;..;;..;/ + ..;..;..;;/ + ..;..;..;;/ + ..;;..;..;/ + ;..;..;..;/ + ..;;..;;..;/ + ..;..;;..;/ + ;..;..;..;/ + ..;..;..;;/ + ..;..;..;..;/ + ..;;..;..;/ + ..;..;;..;/ + ..;;..;..;/ + ..;..;;..;/ + ;..;;..;..;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;;;..;;/ + ..;;..;;;/ + ..;..;..;..;/ + ;;;..;;..;/ + ;..;..;;..;/ + ;..;..;..;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;;..;..;/ + ..;..;..;..;/ + ..;..;;;..;/ + ..;..;;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;;/ + ..;;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;;..;/ + ..;;..;/ + ..;..;..;/ + ..;..;..;/ + ;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;;;;..;/ + ..;;..;/ + ..;..;..;/ + ..;..;..;/ + ..;;..;/ + ..;;..;/ + ;..;..;/ + ..;;..;/ + ;..;..;/ + ..;..;..;/ + ;;..;;..;/ + ..;;..;/ + ..;..;..;/ + ..;..;..;/ + ;..;;..;/ + ..;..;;/ + ..;..;..;/ + ..;..;;/ + ;..;..;/ + ;..;;..;/ + ..;..;..;/ + ..;;..;/ + ..;..;..;/ + ;;;;..;/ + ;;;..;..;/ + ..;;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ;..;..;/ + ..;..;..;/ + ..;..;;/ + ..;..;..;/ + ;..;..;/ + ..;;..;/ + ..;..;..;/ + ..;..;..;/ + ..;;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;;;..;/ + ..;;;;;/ + ;;..;..;/ + ;;;;;;..;/ + ;..;..;/ + ..;..;;/ + ..;..;..;/ + ..;..;..;/ + ..;..;..;/ + ..;..;..;/ % The "digit" class must only contain the BASIC LATIN digits, says ISO C 99 % (sections 7.25.2.1.5 and 5.2.1). @@ -552,212 +495,300 @@ digit / space / % ISO/IEC 6429/ - ..;/ -% BASIC LATIN/ - ;/ -% OGHAM/ - ;/ -% MONGOL/ - ;/ -% GENERAL PUNCTUATION/ - ..;..;;;;/ -% CJK SYMBOLS AND PUNCTUATION, HIRAGANA/ - + ..;;;..;..;/ + ..;; cntrl / - ..;..;/ -% Treat the Line/Paragraph Separators as control characters, like Line Feed./ - ; + ..;..;.. punct / ..;..;..;..;/ ..;..;..;..;/ - ;;..;..;..;/ - ..;..;..;;/ - ..;;;..;..;/ - ..;..;..;..;/ - ..;..;..;/ - ..;..;;;..;/ - ..;..;..;;;/ - ..;..;..;..;/ - ;;/ - ;/ - ;;;..;;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;;;/ - ;..;..;/ + ;;..;..;..;/ + ;..;..;;;/ + ..;;;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ;;..;..;..;/ + ..;;;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ;..;..;..;/ + ..;..;;..;;/ + ..;..;..;;/ + ..;..;..;;/ + ..;..;..;;/ + ..;;..;;..;/ + ..;..;..;..;/ + ..;;..;..;/ + ..;..;..;;/ + ..;;..;..;/ + ..;;..;..;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;;..;..;;/ + ..;;..;;..;/ + ..;;;;;..;/ + ;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;;..;..;;/ ..;..;..;..;/ ..;..;..;..;/ - ..;;..;..;;/ + ..;;..;..;;/ ..;..;;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;/ - ..;..;;..;/ - ..;..;..;..;/ - ;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ;..;..;;;;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;;..;;/ - ..;..;..;..;/ - ..;;..;..;/ - ..;..;/ - ..;..;..;/ + ..;..;;..;/ + ..;..;..;..;/ + ;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ;..;..;..;/ + ..;;..;..;/ + ..;..;..;;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;..;;;;/ + ..;..;..;..;/ + ;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;;;..;..;/ ..;..;..;..;/ ..;..;..;..;/ ..;..;;;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;/ - ..;;;;..;/ - ..;;;..;..;/ - ..;..;;..;;/ - ..;..;/ - ..;;;..;/ - ..;..;..;..;/ - ..;..;;..;/ - ..;..;..;..;/ - ..;..;..;/ - ..;..;/ - ..;..;;/ - ;..;;/ - ..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;;..;..;/ + ..;..;;;;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;;..;/ + ..;..;;..;;/ + ..;..;..;..;/ + ;..;..;..;;/ + ..;..;..;;/ + ..;..;;;..;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;..;..;..;/ + ..;..;..;/ + ..;..;/ + ..;..;/ + ..;;..;/ + ..;..;/ + ..;;;;/ + ..;..;/ + ..;..;;/ + ;..;..;/ ..;..;/ ..;..;/ - ..;..;/ + ..;..;;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;;/ + ..;..;/ + ..;..;;/ + ..;..;/ + ..;;..;/ + ..;..;/ + ..;;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ ..;..;/ ..;..;/ ..;;;;;/ ;;;;;;/ - ;..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;;/ + ..;..;/ ..;.. graph / - ..;..;..;/ - ..;;..;..;/ - ..;..;..;/ - ..;..;..;..;/ - ..;..;..;/ - ..;..;..;/ - ..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ + ..;..;..;..;/ + ;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;..;..;..;/ ..;..;;..;/ ..;..;..;;/ - ..;..;..;..;/ + ..;..;..;..;/ ..;..;..;..;/ ..;..;..;;/ ..;..;..;;/ - ..;/ - ;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ;..;..;;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;;..;/ - ..;..;..;..;/ - ..;..;;;..;/ - ..;..;..;..;/ - ..;..;..;..;/ + ..;;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;..;..;..;/ + ..;..;..;;;/ + ..;..;..;..;/ + ..;..;..;..;/ ..;..;..;..;/ - ..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;;..;/ - ..;..;..;..;/ - ..;/ - ..;;..;;..;/ - ;..;..;..;/ - ..;..;;..;;/ - ;..;..;..;;/ - ;..;..;..;/ - ..;;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;;;/ - ..;..;/ - ..;..;..;..;/ - ..;..;;..;/ - ..;..;..;..;/ - ..;;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;/ - ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ;..;..;..;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;;..;;..;/ + ..;..;..;..;/ + ..;;..;;;/ + ..;..;..;;;/ + ..;..;..;..;/ + ;..;..;..;/ + ..;..;..;..;/ + ..;..;..;;;/ + ..;..;..;;/ + ..;..;..;..;/ + ..;..;;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ ..;..;..;..;/ ;;;..;..;/ ..;..;..;..;/ ..;..;;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;;..;;/ - ..;..;..;..;/ - ..;;..;..;/ - ..;/ - ..;..;..;..;/ - ..;..;..;;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ;..;..;..;/ - ..;..;..;..;/ - ..;..;..;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ;;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;;..;..;/ + ..;..;..;..;/ + ..;..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ ..;..;/ ..;..;/ - ..;;..;/ - ..;;;/ - ..;;..;/ + ..;..;;/ + ..;..;/ + ..;..;;/ + ..;..;;/ + ..;..;/ + ..;..;/ + ..;;..;/ + ..;..;/ ..;..;/ ..;..;/ ..;..;/ - ..;..;/ - ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ ..;..;/ ..;..;/ ..;..;/ @@ -770,109 +801,129 @@ graph / ..;..;;/ ..;..;/ ..;..;/ - ..;..;/ - ..;..;;/ + ..;..;/ + ..;..;/ + ..;;;/ + ..;..;;/ + ;;;;;/ + ..;..;;/ + ;;;;;/ + ..;;..;/ + ..;..;/ + ..;;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;;/ ..;..;/ ..;.. print / - ..;..;..;/ - ..;;..;..;/ - ..;..;..;/ - ..;..;..;..;/ - ..;..;..;/ - ..;..;..;/ - ..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ + ..;..;..;..;/ + ;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;..;..;..;/ ..;..;;..;/ ..;..;..;;/ - ..;..;..;..;/ + ..;..;..;..;/ ..;..;..;..;/ ..;..;..;;/ ..;..;..;;/ - ..;/ - ;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ;..;..;;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;;..;/ - ..;..;..;..;/ - ..;..;;;..;/ - ..;..;..;..;/ - ..;..;..;..;/ + ..;;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;..;..;..;/ + ..;..;..;;;/ + ..;..;..;..;/ + ..;..;..;..;/ ..;..;..;..;/ - ..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;;..;/ - ..;..;..;..;/ - ..;/ - ..;;..;;..;/ - ;..;..;..;/ - ..;..;;..;;/ - ;..;..;..;;/ - ;..;..;..;/ - ..;;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;;;/ - ..;..;/ - ..;..;..;..;/ - ..;..;;..;/ - ..;..;..;..;/ - ..;;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ;..;..;..;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;;..;;..;/ + ..;..;..;..;/ + ..;;..;;;/ + ..;..;..;;;/ + ..;..;..;..;/ + ;..;..;..;/ + ..;..;..;..;/ + ..;..;..;;;/ + ..;..;..;;/ + ..;..;..;..;/ + ..;..;;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ ..;..;..;..;/ ..;..;..;..;/ - ..;..;..;..;/ - ..;..;;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ;;;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ;..;;..;..;/ - ..;..;..;;/ - ..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;/ - ..;..;..;/ - ..;..;..;..;/ - ;..;..;..;/ - ..;/ - ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;;;/ + ;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;;;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ ..;..;..;;/ - ..;..;..;..;/ + ..;..;..;..;/ ..;..;..;..;/ - ..;..;..;..;/ + ..;..;..;..;/ ..;..;;..;/ ..;..;..;..;/ ..;..;..;/ @@ -880,35 +931,104 @@ print / ..;..;/ ..;..;/ ..;..;/ - ..;..;/ - ..;..;/ + ..;..;/ + ..;;..;/ ..;..;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;;..;/ + ..;..;/ ..;;..;/ - ..;;;/ - ..;;..;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;;..;/ - ..;..;;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;;/ - ..;..;/ - ..;..;/ - ..;..;/ - ..;..;;/ + ..;;..;/ + ..;..;/ + ..;..;;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;;/ + ..;..;/ + ..;;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;;/ + ;..;..;/ + ;;;;;;/ + ..;..;;/ + ;;;;;/ + ..;;..;/ + ..;..;/ + ..;;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;;/ ..;..;/ ..;.. @@ -971,18 +1091,19 @@ toupper / (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);/ - (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ @@ -992,47 +1113,49 @@ toupper / (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ @@ -1042,38 +1165,38 @@ toupper / (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ @@ -1122,20 +1245,20 @@ toupper / (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ - (,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ @@ -1145,13 +1268,37 @@ toupper / (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ (,);(,);/ (,);(,);/ (,);(,);/ @@ -1171,7 +1318,23 @@ toupper / (,);(,);/ (,);(,);/ (,);(,);/ - (,);(,) + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,) tolower / (,);(,);(,);(,);/ @@ -1231,7 +1394,7 @@ tolower / (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ - (,);(,);(,);/ + (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ @@ -1239,149 +1402,151 @@ tolower / (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ @@ -1394,33 +1559,75 @@ tolower / (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);/ - (,);(,);/ - (,);(,);/ - (,);(,);/ - (,);(,);/ - (,);(,);/ - (,);(,);/ - (,);(,);/ - (,);(,);/ - (,);(,);/ - (,);(,);/ - (,);(,);/ - (,);(,);/ - (,);(,);/ - (,);(,);/ - (,);(,);/ - (,);(,);/ - (,);(,);/ - (,);(,);/ - (,);(,);/ - (,) + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,) map "totitle"; / (,);(,);(,);(,);/ @@ -1472,15 +1679,19 @@ map "totitle"; / (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ (,);(,);(,);(,);/ - (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ @@ -1490,47 +1701,49 @@ map "totitle"; / (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ @@ -1540,37 +1753,38 @@ map "totitle"; / (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ @@ -1619,19 +1833,20 @@ map "totitle"; / (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ @@ -1641,13 +1856,37 @@ map "totitle"; / (,);(,);(,);(,);/ (,);(,);(,);(,);/ (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);(,);/ - (,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ + (,);(,);(,);(,);/ (,);(,);/ (,);(,);/ (,);(,);/ @@ -1667,89 +1906,147 @@ map "totitle"; / (,);(,);/ (,);(,);/ (,);(,);/ - (,);(,) + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,);/ + (,);(,) % The "combining" class reflects ISO/IEC 10646-1 annex B.1 % That is, all combining characters (level 2+3). +% , Added manually for backward compatibility class "combining"; / - ..;..;..;..;/ - ;..;..;;..;/ - ..;;..;..;/ + ..;..;..;;/ + ..;..;;..;/ + ..;;..;..;/ ..;..;;..;/ - ..;..;..;;/ - ..;..;..;..;/ - ;..;..;..;;/ - ..;..;;..;/ - ..;..;;..;/ - ;..;/ - ;..;..;..;/ - ..;..;;..;/ - ..;..;..;;/ - ..;..;..;;;/ - ..;..;..;..;/ - ..;..;..;;/ - ..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;;..;..;/ + ..;;..;..;;/ + ..;..;..;;/ + ..;;..;;..;/ + ..;..;..;..;/ + ;..;..;..;/ + ..;..;;..;/ + ..;..;;;..;/ + ..;..;..;..;/ + ..;..;;..;/ ..;..;..;..;/ - ..;..;..;..;/ + ..;..;..;..;/ ;..;..;;..;/ ;..;..;;..;/ ..;;..;..;/ ..;..;;;;/ - ..;..;..;..;/ - ..;;..;/ - ..;..;..;..;/ - ..;..;;/ - ;..;..;/ - ..;..;..;;/ - ..;;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;;;;;/ - ;..;;..;..;/ + ..;..;..;..;/ + ..;;..;;..;/ + ..;..;..;..;/ + ..;;..;..;/ + ..;..;..;..;/ + ..;;..;;..;/ + ..;..;..;..;/ + ..;..;;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ..;;..;..;/ + ..;..;..;..;/ + ;..;..;..;/ + ..;..;;..;;/ + ;;..;..;..;/ + ..;..;..;..;/ + ..;;..;;..;/ + ..;;..;..;/ + ..;;..;..;/ + ..;..;;..;/ + ..;;;..;/ ..;..;/ ..;..;;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;;..;/ + ..;..;/ + ..;..;;/ + ..;..;/ + ..;;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ ..;..;/ ..;..;/ ..;..;/ - .. + ..;.. % The "combining_level3" class reflects ISO/IEC 10646-1 annex B.2 % That is, combining characters of level 3. +% ,, and Added manually for backward compatibility class "combining_level3"; / - ..;;..;..;;/ - ..;;..;;;;/ - ..;..;;..;/ - ..;..;;..;/ - ..;..;;..;/ - ..;;..;..;/ - ..;;..;;..;/ - ;/ - ..;..;..;..;/ - ..;;..;..;/ - ..;..;;..;/ - ..;..;;;..;/ + ..;;;..;..;;/ + ..;;..;..;;/ + ;..;..;..;/ + ..;..;..;..;/ + ..;;..;..;/ + ..;;..;..;;/ + ..;..;..;;/ + ..;;..;;..;/ + ..;..;..;..;/ + ;..;..;..;/ + ..;..;;..;/ + ..;..;;;..;/ ..;..;..;..;/ - ..;/ - ..;;..;..;/ - ..;..;..;..;/ - ..;..;..;;/ - ..;/ - ..;;..;;..;/ - ..;;..;..;;/ - ..;..;..;..;/ - ..;;..;..;/ - ..;..;..;..;/ - ..;/ - ..;..;;..;/ - ..;..;..;..;/ + ..;..;;..;/ + ..;..;..;..;/ + ..;..;..;..;/ + ;..;..;;..;/ + ;..;..;;..;/ + ..;;..;..;/ + ..;..;..;;/ + ..;..;..;;..;/ + ..;..;..;..;/ + ..;;;..;..;/ + ..;..;..;..;/ ..;..;..;..;/ - ..;..;..;..;/ - ..;..;..;..;/ - ..;..;;;;/ - ..;;..;..;/ + ..;..;..;..;/ + ;..;..;..;/ + ..;..;..;;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;..;;;;/ + ..;..;..;..;/ + ..;..;..;;/ + ..;;..;..;/ + ..;..;..;..;/ + ;..;..;/ ..;;;;;/ - ..;.. + ..;..;/ + ..;..;/ + ..;;..;/ + ..;..;/ + ..;..;;/ + ..;..;/ + ..;;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + ..;..;/ + .. translit_start diff --git a/scripts/check-backcompatibility.py b/scripts/check-backcompatibility.py new file mode 100755 index 0000000..a56ac0a --- /dev/null +++ b/scripts/check-backcompatibility.py @@ -0,0 +1,211 @@ +#!/usr/bin/python +# -*- coding: UTF-8 -i*- +# Copyright (C) 2013-14, Pravin Satpute +# +# This script is useful for checking backward compatibility of newly +# generated ctype file from gen-unicode-ctype.c and gen-unicode-ctype-dcp.py + +# USAGE: python check-backcompatibility.py existing_ctype_file new_ctype_file +# Existing CTYPE file /usr/share/i18n/locale/i18n and new generated 'unicode' +# +# This program is free software: you can redistribute it and/or modify +# it under the terms of the GNU General Public License as published by +# the Free Software Foundation, either version 3 of the License, or +# (at your option) any later version. + +# This program is distributed in the hope that it will be useful, +# but WITHOUT ANY WARRANTY; without even the implied warranty of +# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the +# GNU General Public License for more details. + +# You should have received a copy of the GNU General Public License +# along with this program. If not, see . + +import os +import sys + +class ctype: + def __init__(self): + self.upper, self.lower, self.alpha, self.digit, self.space, self.cntrl, self.punct, \ + self.graph, self.printc, self.xdigit, self.blank, self.combining, self.combining3 \ + = [], [], [], [], [], [], [], [], [], [], [], [], [] + +"""Captures Unicode values from character class and add +to ctype struct +""" +def extract_class_and_unichars(filename, struct_ctype): + ipfile = open(filename) + flines = ipfile.readlines() + linecount = len(flines) + i = 0 + for l in flines: + w = l.split() + if len(w) > 1: + if l.split()[0] == "upper": +# print "found uppper", i + process_chars(i+1, struct_ctype.upper, flines) + if l.split()[0] == "lower": + process_chars(i+1, struct_ctype.lower, flines) + if l.split()[0] == "alpha": + process_chars(i+1, struct_ctype.alpha, flines) + if l.split()[0] == "digit": + process_chars(i+1, struct_ctype.digit, flines) + if l.split()[0] == "space": + process_chars(i+1, struct_ctype.space, flines) + if l.split()[0] == "cntrl": + process_chars(i+1, struct_ctype.cntrl, flines) + if l.split()[0] == "punct": + process_chars(i+1, struct_ctype.punct, flines) + if l.split()[0] == "graph": + process_chars(i+1, struct_ctype.graph, flines) + if l.split()[0] == "print": + process_chars(i+1, struct_ctype.printc, flines) + if l.split()[0] == "xdigit": + process_chars(i+1, struct_ctype.xdigit, flines) + if l.split()[0] == "blank": + process_chars(i+1, struct_ctype.blank, flines) + if l.split()[1] == "\"combining\";": +# print "combining" + process_chars(i+1, struct_ctype.combining, flines) + if l.split()[1] == "\"combining_level3\";": +# print "combining_level3" + process_chars(i+1, struct_ctype.combining3, flines) + + i = i+1 +# print "alpha chars group", struct_ctype.alpha + + +"""Breaks each line of i18n and unicode file into Unicode blocks +Separated by ";" and extract Unicode values and add into Struct +""" +def process_chars(line_no, list_name, flines): + for x in range(line_no, len(flines)): +# print x + if len(flines[x].split()) < 1: + break + if flines[x].split()[0] == "%": + continue + + else: +# Break line into Unicode value range + l = flines[x].strip().split(";") + if l[len(l)-1] != "/": + list_lenght = len(l)+1 + else: + list_lenght = len(l) + for i in range (0, list_lenght-1): + individual_word = l[i].split("..") +# print individual_word +# For blocks of characters in ".." + if len(individual_word ) == 1: +# print individual_word[0] + uni_char = individual_word[0][2:len(individual_word[0])-1] + hex_uni_char = hex(int(uni_char,16)) + list_name.append(hex_uni_char) +# For blocks of characters in ".." + if len(individual_word ) == 2: +# print individual_word + uni_char1 = individual_word[0][2:len(individual_word[0])-1] + uni_char2 = individual_word[1][2:len(individual_word[0])-1] +# print int(uni_char1,16), hex(int(uni_char1,16)) + count = 0 + for i in range (int(uni_char1,16), int(uni_char2,16)+1): + list_name.append(hex(int(uni_char1,16)+count)) + count = count + 1 +# For blocks of characters in "..(2).." + if len(individual_word ) == 3: +# print individual_word + uni_char1 = individual_word[0][2:len(individual_word[0])-1] + uni_char2 = individual_word[2][2:len(individual_word[0])-1] +# print int(uni_char1,16), hex(int(uni_char1,16)) +# print int(uni_char2,16), hex(int(uni_char2,16)) + count = 0 + for i in range (int(uni_char1,16), int(uni_char2,16)+1,2): + list_name.append(hex(int(uni_char1,16)+count)) + count = count + 2 +# This condition specifically added for file generated by gen-unicode-ctype.c +# it does not break char group by line + l = flines[x].strip().split(";") + if l[len(l)-1] != "/": + break + +# Compared values added in stuct +def compare_list(old_list, new_list): + for property, value in vars(old_list).iteritems(): + exec("prop = %s %s" % ("new_list.",property)) + print "%s: %d chars in old ctype and %d chars in new ctype" % (property, len(value), len(prop)) + report(value, prop) + +# Report values to stdout +def report(old_list, new_list): + missing_chars = list(set(old_list)-set(old_list).intersection(set(new_list))) + print "Missing %d characters of old ctype in new ctype \n " % len(missing_chars), sorted(missing_chars) + print "\n****************************************************" + + +# This function compares TOLOWER, TOUPPER and TOTITLE pairs of i18n and unicode file +def check_pairs(file_old, file_new): + ipfile = open(file_old) + flines = ipfile.readlines() + linecount = len(flines) + i = 0 + for l in flines: + w = l.split() + if len(w) > 1: + if l.split()[0] == "toupper": + pair_name = "toupper" + print "Processing for TOUPPER pair group" + process_pairs(i+1, flines, file_new, pair_name) + print "Completed processing for TOUPPER pair group" + if l.split()[0] == "tolower": + pair_name = "tolower" + print "Processing for TOLOWER pair group" + process_pairs(i+1, flines, file_new, pair_name) + print "Completed processing for TOLOWER pair group" + if l.split()[1] == "\"totitle\";": + pair_name = "totitle" + print "Processing for TOTITLE pair group" + process_pairs(i+1, flines, file_new, pair_name) + print "Completed processing for TOTITLE pair group" + i = i + 1 + + +""" Split the i18n file line into Unicode pairs and check into +unicode files +""" +def process_pairs(line_no, flines, file_new, pair_name): + f = open(file_new).read() + for x in range(line_no, len(flines)): + if len(flines[x].split()) < 1: + break + if flines[x].split()[0] == "%": + continue + + else: +# Break line into pairs, separated by ; + l = flines[x].strip().split(";") + if l[len(l)-1] != "/": + list_lenght = len(l)+1 + else: + list_lenght = len(l) + for i in range (0, list_lenght-1): + if l[i] not in f: + print "%s not present in %s pair new ctype" % (l[i], pair_name) +# Groups are not separated by line in unicode file + l = flines[x].strip().split(";") + if l[len(l)-1] != "/": + break + + +if __name__ == "__main__": + if len(sys.argv) < 3: + print "USAGE: python check_backcompatibility existing_ctype_file new_ctype_file " + else: + file_i18n = sys.argv[1] + file_unicode = sys.argv[2] + ext_ctype = ctype() + new_ctype = ctype() + extract_class_and_unichars(file_i18n, ext_ctype) + extract_class_and_unichars(file_unicode, new_ctype) + compare_list(ext_ctype, new_ctype) + check_pairs(file_i18n, file_unicode) diff --git a/scripts/gen-unicode-ctype-dcp.py b/scripts/gen-unicode-ctype-dcp.py new file mode 100755 index 0000000..5742abc --- /dev/null +++ b/scripts/gen-unicode-ctype-dcp.py @@ -0,0 +1,89 @@ +#!/usr/bin/python +# -*- coding: UTF-8 -i*- +# Copyright (C) 2013-14, Pravin Satpute + +# This script uses DerivedCoreProperties.txt of UCD for generating +# alpha, upper and lower ctype of i18n +# Groups generated by this file should be added inplace for 'unicode' +# file generated by gen-unicode-ctype.c +# USAGE: python gen-unicode-ctype-dcp.py DerivedCoreProperties.txt + +# This program is free software: you can redistribute it and/or modify +# it under the terms of the GNU General Public License as published by +# the Free Software Foundation, either version 3 of the License, or +# (at your option) any later version. + +# This program is distributed in the hope that it will be useful, +# but WITHOUT ANY WARRANTY; without even the implied warranty of +# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the +# GNU General Public License for more details. + +# You should have received a copy of the GNU General Public License +# along with this program. If not, see . + +import os +import sys + +def process_dcp(dcp_file, outfile): + ipfile = open(dcp_file) + flines = ipfile.readlines() + outfile.write("% Generated automatically by gen-unicode-ctype-dcp.py for " + flines[0]) + outfile.write("LC_CTYPE\n") + linecount = len(flines) + i = 0 + for l in flines: + w = l.split() + if len(w) > 3: + if (l.split()[3] == "Uppercase") and (l.split()[2] == "Property:"): +# print "uppercase @ ", i + outfile.write("upper \\\n") + write_class(i+3, outfile, flines) + + if (l.split()[3] == "Lowercase") and (l.split()[2] == "Property:"): +# print "lowercase @ ", i + outfile.write("lower \\\n") + write_class(i+3, outfile, flines) + + if (l.split()[3] == "Alphabetic") and (l.split()[2] == "Property:"): +# print "alphabetic @ ", i + outfile.write("alpha \\\n") + write_class(i+3, outfile, flines) + i = i+1 + +def write_class(line_no, outfile, flines): + nline_count = 0 + outfile.write(" ") + for x in range(line_no, len(flines)): +# next time counter to write "\n" to file + if nline_count > 6: + outfile.write("/\n ") + nline_count = 0 + if len(flines[x].split()) < 1: + continue + if flines[x].split()[1] == "Total": +# print x + break + if len(flines[x].split()[0].split(".."))==1: +# print flines[x].split()[0].split("..") + outfile.write( ";") + nline_count = nline_count + 1 + else: +# print flines[x].split()[0].split("..") + outfile.write( "..;") + if len(flines[x].split()[0].split("..")[0]) > 4: + nline_count = nline_count + 3 + else: + nline_count = nline_count + 2 + outfile.write("\n") + + + + + +if __name__ == "__main__": + if len(sys.argv) < 2: + print "USAGE: python gen-unicode-ctype-dcp.py DerivedCoreProperties.txt" + else: + dcp_file = sys.argv[1] + outfile=open("unicode-ctype.txt","w") + process_dcp(dcp_file, outfile) -- 1.9.3 From 7b0dfeee71ffeb7d86ffcde40f14553504d83135 Mon Sep 17 00:00:00 2001 From: Pravin Satpute Date: Sun, 22 Jun 2014 00:26:15 +0530 Subject: [PATCH 2/2] Proper format for Changelog --- localedata/ChangeLog | 5 +++-- 1 file changed, 3 insertions(+), 2 deletions(-) diff --git a/localedata/ChangeLog b/localedata/ChangeLog index 494d6b1..aea872f 100644 --- a/localedata/ChangeLog +++ b/localedata/ChangeLog @@ -1,8 +1,9 @@ 2014-06-22 Pravin Satpute * locales/i18n: Updated to Unicode 7.0.0 - * locales/i18n: Backward compatibility report available - backward-compatibility5_1-to-7_0 file + + * locales/i18n: Backward compatibility report available + backward-compatibility5_1-to-7_0 file 2014-06-20 Stefan Liebler -- 1.9.3