2ちゃんねる ★スマホ版★ ■掲示板に戻る■ 全部 1- 最新50  

■ このスレッドは過去ログ倉庫に格納されています

UnicodeとUTF-8の違いは? その2

1 :デフォルトの名無しさん:2010/11/30(火) 09:00:05
富士通だとデフォルトでは生成されない
frt -c -Am -M./ (なんとか.f90)
でいけるのではなかろうか。いずれにせよ、
frt -help | less
とかやって、"module"で検索を掛けるのが吉。


2 :デフォルトの名無しさん:2010/11/30(火) 10:52:07
アイちゃんによる誤爆スレ立てでした

3 :デフォルトの名無しさん:2010/11/30(火) 13:18:27
このスレッドは天才チンパンジー「アイちゃん」が
言語訓練のために立てたものです。

アイと研究員とのやり取りに利用するスレッドなので、
関係者以外は書きこまないで下さい。

                  京都大学霊長類研究所

4 :デフォルトの名無しさん:2010/12/09(木) 09:43:39
つ゚

5 :デフォルトの名無しさん:2010/12/09(木) 16:52:06
|                                      ,.-――――‐  、       ..|
|                                      /      ,.-――┴- 、     .|
| 以下                               /   |   /: : l、: : : ;l: : : : :\.   .|
| イカペディア創設者                      /   :! ./: : :、: :!_\;/ _V\ : |`     |
| イカ娘からの                        〈 ___V: : : :|∧|      __`|∨    |
| メッセージをお読みください                   ` ̄丁 |: |:l :| __   〃⌒V|     |
|                                         ヽ|: NV:!〃⌒__ //}|     |
|                                          /: :{_|: :|//f´   ヽ}  八    |
|                                          _/: :/:/ : ト .丶___,ノイ\_:\.  |
|                                   __,/: :_;/: /,.イ⌒ヽ!ヽ: ト、\  !: |__ |
 ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄

6 :デフォルトの名無しさん:2010/12/15(水) 07:54:00
               ,. ――- 、_
                /         \`  、
           /     ___  \  \     人類よ、よく聞け!
            //   .  ´: : : : : : : :` 、 ヽ   \   今からこのスレを
           / / ./: : : : : : : : : : : : : : : \i:    〉  人類侵略の拠点に
          / / / : : : : : : : : : : : 八: : : : : : :ヽ./   させていただくでゲソ
.       /  :i/: : : :\: __: : : : :-/―}ハ‐ : : : : : i          __
      〈   /: : : : : /\: : : : / ,x≠ミx、: :∧|      / }
       \i: : : : :/ |:|  \:/   んィハ }}V:|):{     ./  /
         |: : : : : : ト|       弋ぅり  {: :、: \__/  /__   ,. ┐
        ∨\: : :|   ,x≠   ,       ハ: : \:__:/  /: : : : : :`ン'’ ノ
               \|ヘ〃   r    ̄}  /: : \:_____/  /´ ̄ ̄/  / \
               / : : ∧    \ __ノ/L.,ィ'⌒ヽ:_/  /: ̄`ン'  / ヽ: : : :!
             /: : :〃: :,>ー;‐┬  ´   /{{ /:/   ハ:>'´  /、   j: : : |
      ___,/: ://: : :{  〃 八    / ∨/        /ヽ: : ', /: : :/
    / : : : : : : ://: : :,ハ {{ |\  __/  V:f         '⌒ヽ }: :| \: :\
  / : :/´ ̄ ̄/ : : / j : ヽ}}:!   /   |: |   {    /  /},: : / _/: : /
  {: : :{    / />くつ/: : : :リ  '.  / /  :! : 、   V´ ̄   ,.イ/ : / | : : : :|
   、: : 、   |:{   r_〉}ヽ: : :{   ∨      \: \ \― ´ /' : 〈   ! : : : : |
   \: :\  、:\__): }\:、           ` ┬ヽ._}=一'´ 〉: : 〉 ! : : : : |

7 :デフォルトの名無しさん:2010/12/16(木) 08:43:29
524 名前:デフォルトの名無しさん [sage]: 2010/09/26(日) 02:22:11
BOMの扱いが決定不可能な問題について質問と言う形で出す

変な子が、ファイルサイズと文字長は違うよと言ってくる

知ってると返す

変な子が、人が扱う文字長とプログラムで扱う文字長は違うと言ってくる

知ってると返す

変な子が、いやおれの中では文字長と言えばこう定義されてるし別物なんだよと言ってくる

だから、そんな話はしていないからもうレスしなくていいよと返す

変な子が、人が扱う文字長とプログラムで扱う文字長は違うんだよ!昔からの当たり前の話だろうと言ってくる

開いた口がふさがらない

変な子が、コンピュータ処理で言う1文字と人が認識する1文字とは違うんじゃないのと、また繰り返してる

もうやだこの馬鹿 ←いまここ

8 :デフォルトの名無しさん:2010/12/16(木) 17:04:23
1 名前:デフォルトの名無しさん [sage]: 2007/04/30(月) 20:02:37
ビッグインディアンとかなんとかかんとか

9 :デフォルトの名無しさん:2010/12/17(金) 19:47:50
           皆様へのお願い

  このスレッドは高次機能障害をもたらす
病理の臨床実験のために立てたものです。

  被験者と研究員のやり取りに使うため、
書き込み等は自重されるようお願いいたします。
もし、書き込み等をすることで不愉快な思いをされましても、
当研究所は責を負いかねます。



                      (社)京都微生物研究所

10 :デフォルトの名無しさん:2010/12/17(金) 22:09:58
      ,.-―― 、
     /    ,.- ┴- 、
     /.|  /:´ : : : : : : : :ヽ
.    / :! i{: : : :/\;/ V }: :ゝ
   〈.__V l:l:V-‐ ´ ‐ ,'l:/ <人間ども、昔ETという映画があったことを知らなイカ?
.     ヽ|: l: l、  ヮ_.ノ:l    <ETという宇宙人によって地球が侵略される話でゲソ
.    _/:/`,}:`ス/ ̄ ̄ ̄ ̄/ <そして、次の瞬間、貴様はキーボードのEとTを見て驚愕するでゲソー
   /: : :(__::::つ/  FMV  / カタカタ
.. ̄ ̄ ̄ ̄ ̄\/____/ ̄ ̄

11 :デフォルトの名無しさん:2010/12/17(金) 22:39:28
うーん、EとTを見ても驚愕すべきものがなにも見つからない。
目の前にキーボードが2台並んでいるのだが……

12 :デフォルトの名無しさん:2010/12/17(金) 22:45:23
EとTの間にはRがある
Rと言えば思い出すのは
そう
Ruby

13 :デフォルトの名無しさん:2010/12/18(土) 08:07:40
1 名前:デフォルトの名無しさん [age]: 2010/05/27(木) 14:17:17
前スレでなんとなくわかったのですが、インディアンがどうとかいうあたりで
話について行けなくなりました。


2 名前:デフォルトの名無しさん [sage]: 2010/05/27(木) 14:20:27
次スレいるのかよw

14 :デフォルトの名無しさん:2010/12/18(土) 08:08:41
117 名前:デフォルトの名無しさん [sage]: 2010/06/22(火) 08:42:27
おかしい人は相手をせず放置するのがいちばんですよ。

でもここはおかしい人隔離スレかw

15 :デフォルトの名無しさん:2010/12/18(土) 08:09:23
173 名前:デフォルトの名無しさん [sage]: 2010/07/05(月) 21:18:23
>>164
文字コードと改行コードの話はキチガイ信者が集まるものだよ。
ネットニュースのうさげの時代からずっと。
そんな人達の隔離スレがここゆっくりしていってね

16 :デフォルトの名無しさん:2010/12/19(日) 12:42:03
<!-- 美乳 -->

17 :デフォルトの名無しさん:2010/12/19(日) 13:44:38
ここはシフトジスです。美乳はいりません。

18 :デフォルトの名無しさん:2010/12/19(日) 21:31:42
<!-- 入口 -->

19 :デフォルトの名無しさん:2010/12/20(月) 08:57:56
971 名前:デフォルトの名無しさん [sage]: 2010/05/24(月) 20:09:15
結局UnicodeとUTF-8の違いは何なのでしょうか。
符号化文字集合Unicodeにも各文字に符号が振られているのに
さらにUTF-8が符号化方式とかわけわかりません。


972 名前:デフォルトの名無しさん [sage]: 2010/05/24(月) 20:15:38
Unicodeは文字に番号を振っているだけ。ビットもバイトも関係ない。
そのUnicode番号を、バイト(正確にはオクテット)データの連続として
表現する方法の一つがUTF-8。


973 名前:デフォルトの名無しさん [sage]: 2010/05/24(月) 22:06:07
Unicode: 単なる「文字の表」で、あいうえお表のようなもの。
      便利にするために、文字ごとに番号がついてあるけど、
      その番号はコンピュータ上のデータとは何ら関係がない。単なる整理番号。

UTF-8, UTF-16など: Unicodeの表にある文字をコンピュータ上で表現したいとき、
      どういう手順で表せばいいかを定めた「決まりごと」。
      Unicode表の文字をコンピュータ上のデータに変換する規則、
      コンピュータ上のデータをUnicode表の文字に変換する規則が定められている。

Unicode系の規格では「文字の表」と「決まりごと」が一組そろってはじめて、文字とデータの対応付けができる。
ASCIIコードでは、表と決まりごとの区別はあんまり明確じゃない。

Shift_JIS, iso-2022-jp, euc-jpは全部「決まりごと」で、やっぱり「文字の表」がないと意味をなさない。
そいつらはUnicode表じゃなくて、JISコードって表のための決まりごと。

20 :デフォルトの名無しさん:2010/12/20(月) 08:59:50
977 名前:デフォルトの名無しさん [sage]: 2010/05/25(火) 09:34:36
>>975
VB6の動作は知らないが、インディアン付きってなんだw
BOM付きか、リトルエンディアンかどっちかの勘違いだと思うけど。

エンディアン: ガリバー旅行記に出てくる、卵を尖った方から割る種族、丸い方から割る種族に由来。
    データの格納順序。例えば、16ビットデータ0xFEFFを表すとき、
    FE FFのように、桁の大きい方から表すのがビッグエンディアン
    FF FEのように、8ビットずつ区切って桁の小さい方から表すのがリトルエンディアン

    CPUによって、どっちがやりやすいかはある程度決まってくる。
    例えばx86系(パーソナルコンピュータのCPUは全部これ、と思っても特に差し支えない)は
    リトルエンディアンなCPUなので、何も考えずにUTF-16テキストを作るとリトルエンディアンになる。

BOM(Byte Order Mark): ユニコード表のU+FEFFの文字のこと。
    UTF-16で、この文字を頭に入れておくと、あら不思議。エンディアン(バイトの並び順=Byte Order)が分かっちゃう。
    より具体的には、UTF-16でU+FEFFは0xFEFFなので、
    これがFE FFのように入っていたらビッグエンディアン、FF FEのように入っていたらリトルエンディアン。

    UTF-8には、エンディアンの違いはないので、Byte Orderを示す必要がない。
    けれども、これが頭に入ってたらUTF-8だって判別しやすいよね、ということでsignature(しるし)として
    入れることが認められている。

21 :デフォルトの名無しさん:2010/12/25(土) 22:49:24
>>1
本スレ>>1です。紛らわしいスレを立てないでください。
とはいえ、本スレが埋まったらまたここに来ますです。

22 :デフォルトの名無しさん:2011/01/01(土) 13:32:38
unicodeはfffeのボムつきutf-16リトルエンディアン
メモ帳がそうだ

23 :デフォルトの名無しさん:2011/01/18(火) 17:52:43
JIS漢字コードとシフトJISコードの違いは何でしょうか。
区点コードとシフトJISコードの違いは何でしょうか。

24 :デフォルトの名無しさん:2011/01/18(火) 17:54:39
http://msdn.microsoft.com/ja-jp/library/cwe8bzh0(v=VS.100).aspx
>Unicode は 16 ビットの文字セットで、すべての言語に対する十分な表現能力を持っています。
>すべての ASCII 文字は、拡張文字として Unicode の中に含まれます。

WindowsにおけるUnicode(の文字符号化方式)とはUTF-16(またはUCS-2)の意味。

>このドキュメントでは、MBCS は、Unicode でサポートされていないすべてのマルチバイト文字を指します。
>Visual C++ では、MBCS は常に DBCS を意味します。 2 バイトを超える文字セットはサポートされていません。

WindowsにおいてはUnicodeがUTF-16(またはUSC-2)の意味なので
UTF-7やUTF-8はサポートされない。

http://msdn.microsoft.com/en-us/library/dd317756(VS.85).aspx
>1200 utf-16 Unicode UTF-16, little endian byte order (BMP of ISO 10646); available only to managed applications

コードページ1200(UTF-16)はネイティブなVC++では使えない。

VC++でネイティヴアプリケーションを記述する限り、
Unicodeの全文字を利用する方法はない。

これでOK?^^;

25 :デフォルトの名無しさん:2011/01/18(火) 21:38:24
>>23
JIS漢字コードってなんですか。JIS X 0208 のことですか。
シフトJISコードってなんですか。シフト符号化表現のことですか。
区点コードってなんですか。区点番号のことですか。

勝手な用語を使われたら誰も何も答えられません。

26 :デフォルトの名無しさん:2011/01/18(火) 22:21:26
目指してる 未来が違うwwww byシャープ
http://twitter.com/ozawa_yuuki/status/6549767047872513  

27 :デフォルトの名無しさん:2011/01/18(火) 23:27:12
最近ようやくわかってきたんだ。つまり、Unicodeを扱えないのはコンソールなんだよ。

28 :デフォルトの名無しさん:2011/01/18(火) 23:52:45
ええ〜〜っ!JIS漢字コードを知らないひとがいるのぉ?
ええ〜〜っ!シフトJISコードを知らないひとがいるのぉ?
ええ〜〜っ!区点コードを知らないひとがいるのぉ?

ばっかみた〜い

29 :デフォルトの名無しさん:2011/01/18(火) 23:53:27
「コンソール」って何ですか?

30 :デフォルトの名無しさん:2011/01/19(水) 00:16:22
command.com のことかな

31 :デフォルトの名無しさん:2011/01/19(水) 00:34:40
chcp 65001

32 :デフォルトの名無しさん:2011/01/19(水) 00:50:05
cp65001はUTF-8なので今度はVC++が対応しないね。

33 :デフォルトの名無しさん:2011/01/19(水) 01:39:24
Windowsのシステムロケールを英語にしてからcp650001にすると逝ける

34 :デフォルトの名無しさん:2011/01/19(水) 10:31:45
>>28 自分がバカを晒していることに気付かないバカ

35 :デフォルトの名無しさん:2011/01/26(水) 00:29:48
前スレが見当たらないんだが、物凄い勢いでDAT落ち?

36 :デフォルトの名無しさん:2011/01/26(水) 00:34:53
987で落ちたみたいだね
UnicodeとUTF-8の違いは? その2
http://hibari.2ch.net/test/read.cgi/tech/1274937437/

37 :デフォルトの名無しさん:2011/01/26(水) 16:26:32
980超えて24時間書き込みがないと自動的に落ちる、だっけ。

38 :デフォルトの名無しさん:2011/01/28(金) 19:01:23
隔離スレ浮上

39 :デフォルトの名無しさん:2011/02/01(火) 06:41:44
コンソールってのは辞書を引くと「慰める」。
つまりオナニーのことだったんだよ

40 :デフォルトの名無しさん:2011/02/01(火) 07:17:12
確かに肌荒れしたところに塗ると痛みが引くよね

41 :デフォルトの名無しさん:2011/02/01(火) 15:03:50
  

42 :デフォルトの名無しさん:2011/02/02(水) 00:13:35
珍宝に塗るのがオヌヌメ

43 :デフォルトの名無しさん:2011/02/02(水) 08:12:08
>>39
琉球語で「いらっしゃい」の意味じゃなかったの?

44 :デフォルトの名無しさん:2011/02/03(木) 21:48:55
>>24
>VC++でネイティヴアプリケーションを記述する限り、
>Unicodeの全文字を利用する方法はない。

どれだけ無知なんだよ。Unicode(UTF-16)版API使うに決まってんだろ。

>>25
>シフトJISコードってなんですか。シフト符号化表現のことですか。
相変わらずJIS信者はキモいな。シフトJISはシフトJISだよ。

45 :デフォルトの名無しさん:2011/02/03(木) 22:37:43
それはWindows SDKであって、Visual C++ではないんじゃないか?

みたいなつっこみでどうでしょう。

46 :デフォルトの名無しさん:2011/02/04(金) 00:22:50
>>45
で、それが問題になるケースは?

47 :デフォルトの名無しさん:2011/02/04(金) 00:25:11
ないね。2003以降はSDKにVCコンパイラくっついてるし。逆もまた真だし。

48 :デフォルトの名無しさん:2011/02/04(金) 01:21:00
VC++ で BOM なしで UTF-8 通るようになったら
もう完全に引っ越すんだけどな

49 :デフォルトの名無しさん:2011/02/04(金) 06:57:05
引っ越さない理由がわからない。BOMありで何か問題が?

50 :デフォルトの名無しさん:2011/02/04(金) 07:12:45
> >シフトJISコードってなんですか。シフト符号化表現のことですか。
> 相変わらずJIS信者はキモいな。シフトJISはシフトJISだよ。

CP932 とか Windows-32J で混乱して死ねばいいと思うよ。

51 :デフォルトの名無しさん:2011/02/04(金) 07:21:36
Unix - 「UTF-8にBOMはいらないんだよ糞が」派
Windows - 「BOMねえとエンコーディングの判別が面倒すぎるだろ糞が」派

52 :デフォルトの名無しさん:2011/02/04(金) 10:50:26
俺 - じゃあ、なんも悩まなくいいように全部何から何までBOMなしUTF-8にしようぜ!
   バイト列だからとかホザいてるFSもな!

53 :デフォルトの名無しさん:2011/02/04(金) 11:42:13
>>51
「shebang の次の行に書いておけばいいだろ」派

54 :デフォルトの名無しさん:2011/02/04(金) 11:47:16
Cのソースとかにまでshebang書いてたらアホだと思われるぞ
実際アホなんだろうけど

55 :デフォルトの名無しさん:2011/02/04(金) 19:11:35
もともとUTF-8の規格にはBOMないし
BOMがあるとUTF-8の利点である1バイト部分がLaten-1互換ってのも失われちゃうし
おっぱいぱいなんじゃなかったっけ?

56 :デフォルトの名無しさん:2011/02/04(金) 20:39:51
綴り間違ってるし互換性なんてないし
古いエンコードでバシッと表示できる可能性がミジンコくらい有るのはASCIIだけだよ

57 :デフォルトの名無しさん:2011/02/04(金) 21:56:15
>>56
バックスラッシュとチルダは?

58 :デフォルトの名無しさん:2011/02/05(土) 11:35:57
ASCIIだから問題ないでしょ。
JIS X 0201左面じゃないんだから。

59 :デフォルトの名無しさん:2011/02/06(日) 01:07:58
>>51
ファイル名に BOM 付ける訳にいかないしなぁ

60 :デフォルトの名無しさん:2011/02/06(日) 02:07:45
>>59
実はお前、馬鹿ですね

61 :デフォルトの名無しさん:2011/02/06(日) 02:11:36
>>54
shebang という事は TCC 使いなのかもね。

http://bellard.org/tcc/

62 :デフォルトの名無しさん:2011/02/06(日) 04:33:14
>>61
申し訳ございませんが
tcc と shebang の関係について私には分かり兼ねますので
ご高説賜りたく望む所存でございます

63 :デフォルトの名無しさん:2011/02/06(日) 05:13:24
>>61
TCCでコンパイルすると出来上がったexeにアンチウィルスソフトが反応してワロス

ここのひとも同じみたいだ
>ttp://www.mail-archive.com/tinycc-devel@nongnu.org/msg02244.html


64 :デフォルトの名無しさん:2011/02/06(日) 06:51:10
>>62
リンク先嫁

65 :デフォルトの名無しさん:2011/02/06(日) 07:35:26
>>64
># C script supported : just add '#!/usr/local/bin/tcc -run' at the first line of your C source, and execute it directly from the command line.

ありがとうございました

66 :デフォルトの名無しさん:2011/02/06(日) 13:00:21
>>61
TCC でも動作確認出来ました。
ttp://www1.axfc.net/uploader/Sc/so/202217.zip&key=tcc
ほんとうにありがとうございました。

67 :デフォルトの名無しさん:2011/02/06(日) 13:15:56
>>59-60
ファイル名に BOM 付けたければ付ければ?

68 :デフォルトの名無しさん:2011/02/06(日) 15:13:49
RFCは規格とイコールではないし、規格だって法とイコールでもない
Unicode関連が元々どうしようもないクソ規格なんだから、適当にならざるを得ないんだよ
四角四面に適用可能なほど出来のいい規格じゃねーし

69 :デフォルトの名無しさん:2011/02/06(日) 17:16:43
BOMって結局>>51の言うように、「美乳」の代わりなの?
BOMのバイト列が先頭に出現する符号化方式って他に無いの?

70 :デフォルトの名無しさん:2011/02/06(日) 17:18:23
>>69
> BOMのバイト列が先頭に出現する符号化方式って他に無いの?
Latin-1をはじめとするシングルバイト全部

71 :デフォルトの名無しさん:2011/02/06(日) 17:31:36
じゃあUTF-16って言う前提が無いとダメなの?
具体的に役立つ場面が想像付かない。
あまり聞くのも迷惑だろうし、判りやすいサイトがあれば誘導してほしいです

72 :デフォルトの名無しさん:2011/02/06(日) 21:07:11
たしかにBOM付いてると
UTF-8でもVC++通るな

73 :デフォルトの名無しさん:2011/02/06(日) 22:39:52
>>71
君の疑問は君の無知から来ているわけではなく、
BOMの矛盾がそのままあなたの頭の中のモヤモヤになってるだけ。


74 :デフォルトの名無しさん:2011/02/06(日) 23:03:58
>>70
確かに[FE FF 41 41]のファイルはLatin-1ともUTF-16とも。
(VC#で確認したけどデフォルトではEncoding無視してBOM優先なんですね。ちょっと驚いた)

前スレも見てきたけどBOMについては賛否あるみたいなんで、
あんまり関わらないようにします。

75 :デフォルトの名無しさん:2011/02/09(水) 01:01:41
>>71
偶然先頭にBOMが来ることは少ない、という前提の元では、
ファイルが、自身のエンコード方式を明確にする目的での利用にはそれなりに役に立つ。

けどBOMなしUTF-16というものもあるので、
アプリが、ファイルのエンコードを知るという目的では微妙。

76 :デフォルトの名無しさん:2011/02/09(水) 23:56:09
>>73
>BOMの矛盾
何も矛盾してないだろ。矛盾とは何?
エンコーディングを確実に判断するにはメタデータが必要に決まっているし、
BOMはUnicodeを他のエンコーディングと区別できることを保障している
わけではない。

77 :デフォルトの名無しさん:2011/02/10(木) 00:29:49
>>71>>73も同レベルの無知だと思うよ

78 :デフォルトの名無しさん:2011/02/10(木) 00:31:47
じゃあ俺も!

79 :デフォルトの名無しさん:2011/02/10(木) 00:47:30
だな
>>75も無知の部類

80 :デフォルトの名無しさん:2011/02/10(木) 00:53:16
うざいなあ
低能なネタ振りは無視すれいちいちツッコミ入れるな

81 :デフォルトの名無しさん:2011/02/10(木) 00:55:10
それも無視すれば良いんじゃないの

82 :デフォルトの名無しさん:2011/02/10(木) 01:55:30
>>75の認識で何が間違ってる?
無知じゃない人おしえて

83 :デフォルトの名無しさん:2011/02/10(木) 06:15:01
------ はいはい ここまで読んだ ------

84 :デフォルトの名無しさん:2011/02/10(木) 06:41:56
>>75はあれだろ。
「挨拶は人間同士のコミュニケーションを円滑にするが、
挨拶しない人もいるので、挨拶の必要性を感じない」ってレベル。

85 :デフォルトの名無しさん:2011/02/10(木) 08:36:09
コードポイントとスカラー値の違いは何でしょうか?

86 :デフォルトの名無しさん:2011/02/10(木) 09:26:48
コードポイントというのは抽象的な概念で、Unicode 以外の文字集合の
(たとえば JIX X 0208 の「何区何点」)も「コードポイント」。

スカラー値というのは Unicode の概念で、コードポイントを示す具体的な
整数値。

87 :デフォルトの名無しさん:2011/02/10(木) 09:48:53
>>86
そういうことなんだ。
d

88 :デフォルトの名無しさん:2011/02/10(木) 10:16:57
バカと無知の違いは何でしょうか?

89 :デフォルトの名無しさん:2011/02/10(木) 10:18:13
無知は知識を獲得すれば問題なくなる
バカは死ななきゃ治らない

90 :デフォルトの名無しさん:2011/02/10(木) 10:37:47
const int バカ = 0;
int 無知; // uninitialized

91 :デフォルトの名無しさん:2011/02/10(木) 12:28:24
人格的な理由によるバカならば、稀にconst_castが効くこともある

92 :デフォルトの名無しさん:2011/02/10(木) 15:27:41
ただし膨大なコストを伴う

93 :デフォルトの名無しさん:2011/02/10(木) 20:00:10
UTF-8 なファイルに BOM を付けるのは、渋谷の交差点ですれ違う人全員に挨拶するレベルかな

94 :デフォルトの名無しさん:2011/02/10(木) 21:34:49
的外れなたとえ話は要らん

95 :デフォルトの名無しさん:2011/02/10(木) 23:01:51
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=utf8">

これでじゅうぶんやん。何が不満なの?ワケがわかりません。

96 :デフォルトの名無しさん:2011/02/10(木) 23:06:18
<?xml encoding="UTF-8">

これでもいいし。まぁ煮たようなのは他にも
-*- coding: UTF-8 -*-
とか
vim:fileencoding=UTF-8
とか
use utf8;
とかあるらしいけど、実際に使った事がないから知らん。
なんでソレじゃダメなのさ?

97 :デフォルトの名無しさん:2011/02/10(木) 23:07:04
おそらく誰も明確には答えられんだろうな。

98 :デフォルトの名無しさん:2011/02/10(木) 23:16:46
<?xml encoding="UTF-8">
-*- coding: UTF-8 -*-
vim:fileencoding=UTF-8

これらは
coding="UTF-8"
coding: UTF-8
coding=UTF-8
の部分のマッチだけ見てるよ

99 :デフォルトの名無しさん:2011/02/11(金) 00:42:47
コーディングマッチ子先生

100 :デフォルトの名無しさん:2011/02/11(金) 01:31:28
その手の手法は、元来レイヤーが違うところに情報を持たせている気持ち悪さはあるな
例えば、文字コード変換との相性は明らかに良くないし、対処法も美しくない
BOMと比べてどうかはまた別の話だが

101 :デフォルトの名無しさん:2011/02/11(金) 03:51:56
実際のエンコーディングと異なるエンコーディング名を指定できるし
UTF-16で破綻するしBOMより酷いと思う

102 :デフォルトの名無しさん:2011/02/11(金) 08:38:34
世の中の流れとしては
旧 HTML → media type で指定。デフォルトなし
↓ XML → デフォルトは Unicode だが指定可能
新 JSON, YAML → Unicode 以外不可

となっている。Unicode 以外不可なら BOM で判別がつく(なければ UTF-8)。


103 :デフォルトの名無しさん:2011/02/11(金) 14:01:51
>>84
そう解釈したのならバカ。挨拶ってのがセンスのない例えなので、違和感は出るが
挨拶しない人もいるから、挨拶してもらえるつもりでいてはいけない
の方が近い。

104 :デフォルトの名無しさん:2011/02/11(金) 14:19:06
>>102
昔のHTMLは、そもそも多言語対応
してなかった。
JSONは、パーサー次第だろ。

「世の中」としては、UTF-8に収束
しつつも、統合されるのはまだまだ
遠い将来、くらい?


105 :デフォルトの名無しさん:2011/02/11(金) 14:26:29
YAMLもUTF-8で通るライブラリと通らないのがある

>>104
>しつつも、統合されるのはまだまだ
>遠い将来、くらい?

もう目の前まで来てる

106 :デフォルトの名無しさん:2011/02/11(金) 14:34:35
最初っからUCS-4なら統合も素直に喜べたんだけどねぇ

107 :デフォルトの名無しさん:2011/02/11(金) 16:40:26
>>104
多言語対応と複数文字コード対応は全く違う話。

108 :デフォルトの名無しさん:2011/02/11(金) 21:05:52
>実際のエンコーディングと異なるエンコーディング名を指定できるし

そげなことを言い始めたら話が先に進まんぜ。
シフトJISの文書ファイルにUTF-8のBOMを埋め込むことだってできる。
偽装しようと思えば何だってできるやろ。
他人の考えを否定するばかりでなく、自分で何か建設的な意見は言えんの?

109 :デフォルトの名無しさん:2011/02/11(金) 21:12:19
動画とおんなじようにテキストファイル用のコンテナフォーマットを作って
BOMだの言語タグだのコーディング指定だのはそっちに入れるのがいい
テキストとBOMとごっちゃに規格管理しようとするから混乱する

110 :デフォルトの名無しさん:2011/02/11(金) 21:23:42
まあ安易だわな。
必須にならなくてよかったよ。
そのうち死滅するだろう。

111 :デフォルトの名無しさん:2011/02/11(金) 21:28:41
SJISにBOMを付けるなんてのは意図的に破壊しないと出てこないと思うが。少なくとも
文字コード変換と同列の問題じゃない。
実際問題、文字コード変換をしようとしたら、どれが一番楽かはともかく、データ内に
文字コード情報を埋め込むやり方は一番面倒だ。設計的には美しくない。かといって、
既存の枠組みから大幅に異なるコンテナを作ったところで誰も使わないだろう。
UTF-8で全部片付くほど綺麗な世界でもない。BMPだけなのか、UCS-4まで行ける
のか、同じUTF-8でも別扱いにしないとまずい世界が既にあるのだし。
BOM付きUTF-8への対応も進んでいるし、推奨もしないが排除する必要も無かろう。
大体、CJKなんて糞仕様を作った糞コンソーシアムに盲従する必要も全く感じない。

112 :デフォルトの名無しさん:2011/02/11(金) 21:30:19
いいかげんすぎるのも困るが、原理原則でガチガチなのも困るわな

113 :デフォルトの名無しさん:2011/02/11(金) 21:48:01
これだけ対応ソフトが出回ると、死滅はしないんじゃないか?
まぁ、使わなくても個人的には全く困らないっつーか、BOM無しに統一された世界なら
むしろその方が楽だから、非対応に戻すのが流行ったりしたら死滅するだろうけど。
あと、美しく新しいテキストファイルのコンテナ、とか考えていいのは中学生までだな。

114 :デフォルトの名無しさん:2011/02/11(金) 22:13:45
コンテナとか難しいこと考えんでも、"\033$@" と "\033(J" で囲めばええやん

115 :デフォルトの名無しさん:2011/02/12(土) 00:50:26
>>108
他人の考えを否定するばかりって…w
conding=UTF-8埋め込みじゃあ例えばSJISにコード変換しただけで破綻するじゃない
コード変換は普通に行われるから、それを指摘しただけなのにw

116 :デフォルトの名無しさん:2011/02/12(土) 00:56:01
>>115
> conding=UTF-8埋め込みじゃあ例えばSJISにコード変換しただけで破綻するじゃない
それは現状のコード変換がconding=UTF-8を認識せずにコード変換するからであって
conding=UTF-8をコード指定として認識するコード変換ツールは、変換後のコード名を
埋め込み直すんじゃないでしょうか?


117 :デフォルトの名無しさん:2011/02/12(土) 02:18:01
コード変換ツールは必ず coding=*** を正しく認識して埋め込み直しなさい。
ユーザーは一行目に coding *** などと間違われやすいテキストを書いてはいけない。
ユーザーはテキストエディタで開けば書き直せる状態だけど coding=*** を書き換えてはいけない。
制約が多いなあ。

118 :デフォルトの名無しさん:2011/02/12(土) 02:23:36
それは文字コード変換なのだろうか?

そもそも文字コード間の文字って完全に対応が決まってるわけじゃないし
どうやっても何らかの問題を含んでしまいそうだ
コンセンサンスのある文字コード変換手法が定まってればいいんだろうけど
どうせ「Windowsと同じ挙動にすること」ってなったりしそうで実装者がかわいそう

119 :デフォルトの名無しさん:2011/02/12(土) 03:21:01
>>108
馬鹿にかまうな

120 :デフォルトの名無しさん:2011/02/12(土) 04:55:24
詭弁のガイドライン

121 :デフォルトの名無しさん:2011/02/12(土) 12:43:08
おまいらアフォ杉w
コード変換する必要の無いように、coding=*** を埋め込むんじゃないか。
コード変換する必要があるのは、コードが不明だから。
判明してれば変換する必要は無いだろ。

122 :デフォルトの名無しさん:2011/02/12(土) 13:00:10
>>121
アフォなプログラマ・アプリは山ほどあるぞ

123 :104:2011/02/12(土) 14:35:09
>>107
何が違うのかわかんね。

ちなみに「多言語対応」は、英語系以外の
言語の対応のつもりで書いた。


124 :デフォルトの名無しさん:2011/02/12(土) 14:36:40
>>105
>もう目の前まで来てる
ガラパゴスなめんな!


125 :デフォルトの名無しさん:2011/02/12(土) 20:16:29
コード変換ツールは、METAタグ、XMLタグ、coding=*、using文、その他もろもろを正確に
認識しなければならない。
また、例えばプログラムのコード、ログファイル、ドキュメントなどにMETAタグがサンプル
として埋まっている場合は、それは言語コード指定ではないので変換してはならない。

アホかと。
「コード変換ツールが対応すればいい」とか言ってる奴は、一生プログラムを書くべきじゃ
ないレベルだろ。

126 :デフォルトの名無しさん:2011/02/12(土) 20:22:12
>>121が何を言いたいのか分からん
適当な言語で非ASCIIで破綻しない正規表現マッチングをしようとしたとして、シフトJISと
判明しているテキストが送られてきた場合、coding=Shift_JISって埋まってたら、どんな
プログラム言語でも変換せずに処理できるとでも?

127 :デフォルトの名無しさん:2011/02/12(土) 20:39:57
日本語でおねがいします

128 :デフォルトの名無しさん:2011/02/12(土) 23:02:11
この場合適当とは文字通り適当ということを指します

129 :デフォルトの名無しさん:2011/02/26(土) 09:39:55.26
http://hibari.2ch.net/test/read.cgi/tech/1295493964/210-

130 :デフォルトの名無しさん:2011/02/26(土) 12:23:31.69
>>129
UTF-32は固定長でないと書いてありますが、これはどういう意味でしょうか?
合成文字があるから1文字が必ずしも32bitでないということを言っているのでしょうか?

http://hibari.2ch.net/test/read.cgi/tech/1295493964/228
>228 :デフォルトの名無しさん:2011/02/26(土) 02:22:47.15
>いまどき、欧米人以外でUTF-32が固定長とか思ってる奴がいるんだな。
>CJKの当事者としてもうちょっと勉強しようぜ。

131 :デフォルトの名無しさん:2011/02/26(土) 14:19:42.86
>>130
普通に考えたらそうだと思うけど、その人が本当に何を考えてそう発言したのかは
向こうで聞かないと分からないと思われ

コードポイントの話に反論が無かった所を見ると、まあ間違いないとは思うけどね

132 :デフォルトの名無しさん:2011/02/26(土) 14:20:00.77
合成文字だろ。

133 :デフォルトの名無しさん:2011/02/26(土) 15:25:56.28
>>131-132
やはりそういうことですよね。
d

134 :デフォルトの名無しさん:2011/02/26(土) 16:50:59.12
CJKとかアホなことして切り詰めた意味は全く無かったよな

135 :デフォルトの名無しさん:2011/02/26(土) 17:33:27.17
そうだね

136 :デフォルトの名無しさん:2011/02/26(土) 18:00:45.17
http://benlynn.blogspot.com/2011/02/utf-8-good-utf-16-bad.html

CJK を使ってなくても分かる話だよな

137 :デフォルトの名無しさん:2011/04/16(土) 07:00:33.60
突然だけど、俺、今日ソープで童貞捨ててくる。
11時に電話で予約入れた。どきどき
お前らも今時シフトジスなんて使わずMancode使えよ

138 :デフォルトの名無しさん:2011/04/16(土) 07:39:18.44


139 :デフォルトの名無しさん:2011/04/16(土) 09:30:15.01
>>137
体験レポートもよろしく。
自分の場合、マンコの中がゆるく感じて、あまり気持ちいいとは思わなかった。

140 :デフォルトの名無しさん:2011/04/16(土) 10:15:37.30
シフトジスは最大2バイトだからしまりが良い

141 :137:2011/04/16(土) 13:54:15.82
川崎ソプに行ってきた。
騎乗位は何故かチソコ痛いだけで苦痛だったけど
正常位はむちゃくちゃ気持ち良かった。
緊張して何話したか覚えてないけど、優しくしてもらえたよ。
お前らもMancodeなんて使ってないで。UTF-8使った方がいいよマジ

142 :デフォルトの名無しさん:2011/04/30(土) 09:25:16.40
最近OUTLOOKの設定を「Unicode(UTF-8)」にしたんだけど、
相手が読めなかったり 問題ある?
あとUTF-8が括弧書きされてるのはUTF-8はUnicodeの一種ってい
理解でいいのかな

143 :デフォルトの名無しさん:2011/04/30(土) 13:17:17.60
>UTF-8はUnicodeの一種

軽く目まいがしたぜ・・・

144 :デフォルトの名無しさん:2011/04/30(土) 14:59:14.76
問題ないだろ。Unicode規格で定められたエンコーディングの一つがUTF-8。
「Unicode」が符号化文字集合の名前だなんてUnicode規格のどこにも書いてないし、
「Unicode」をUTF-16の意で使うのはマイクロソフトだけ

145 :デフォルトの名無しさん:2011/04/30(土) 15:29:57.76
Unicodeの一種、っていう呼び方は語弊があるな。
「魚の一種」というなら対象は魚であるべきだし
「Unicodeの一種」というなら対象はUnicode(つまり規格)であるべきなんだ
日本語の問題だな

UTF-8は規格は規格でもUnicodeの符号化方式の規格であって、言うなれば
上の例でたとえるなら「フグの白子って魚の一種ですよね?」と聞いているようなもの
フグは魚の一種だが、フグの白子は魚の一種ではない

「Unicodeの一種」と呼べるのは、例えばUnicode 1.0.1とかUnicode 6.0.0とかだな
この二つは全然違うけどどちらもUnicode

146 :デフォルトの名無しさん:2011/04/30(土) 15:43:17.08
まああれだ。「原材料:魚(フグの白子)」みたいなもんだ。

147 :デフォルトの名無しさん:2011/04/30(土) 22:14:03.44
区点コードってJISコードの一種ですよね?

148 :デフォルトの名無しさん:2011/04/30(土) 22:45:48.73
JISの文字集合のインデックスです。

149 :デフォルトの名無しさん:2011/05/01(日) 02:25:41.72
とある文字集合の・・・

150 :デフォルトの名無しさん:2011/05/01(日) 06:12:28.61
>>147 JISコードの定義は?

151 :デフォルトの名無しさん:2011/05/01(日) 10:30:43.79
JIS X 0208文字集合

152 :デフォルトの名無しさん:2011/05/01(日) 12:36:34.07
いまどきのガキはJIS26も知らんのか。

153 :デフォルトの名無しさん:2011/05/01(日) 20:50:07.03
知らん

154 :142:2011/05/14(土) 18:23:02.15
Unicodeの理解が間違ってたようですみません。
メール本文は文字化けしないようなのですが、返信メールの宛先が
「"=?utf-8?B?=" aaa@bbb」みたいになってしまいます。
相手のメールソフトがMIMEエンコードを認識できないことがあるようです。

155 :デフォルトの名無しさん:2011/05/15(日) 00:27:53.50
携帯に歩数計アプリ入れてるんだけどさ、今日は10646歩だったぜ。キリがいい

156 :デフォルトの名無しさん:2011/05/29(日) 07:37:03.28
前スレの、ISO-2022-JPがIEで文字化けする問題だけど、MSのブログはアホが多いな。
「文字コードの指定の無いページで文字化けが起こるようになりました」とか言う奴は
死んだ方がいい

157 :デフォルトの名無しさん:2011/06/02(木) 00:01:47.43
前スレとか半年越しで言われても何の話かわからん

158 :デフォルトの名無しさん:2011/06/02(木) 02:53:51.08
984 名前:デフォルトの名無しさん [sage]: 2011/01/23(日) 14:21:57
いや、最近IEを更新すると、
META書いてあってもISO-2022-JPが化けるようになった。


985 名前:デフォルトの名無しさん [sage]: 2011/01/23(日) 17:03:21
>>984
ISO-2022-JP は IE でも見れるって
話じゃなかったのか?
見れなくなったのか。


986 名前:デフォルトの名無しさん [sage]: 2011/01/23(日) 21:39:59
>>985
http://blogs.msdn.com/b/ie_jp/archive/2010/12/17/ms10-090.aspx


987 名前:デフォルトの名無しさん [sage]: 2011/01/23(日) 22:57:09
HTTPヘッダだと認識してhttp-equivで認識しないってなんだよ。
いずれにせよHTMLでのISO-2022-JPに未来はないと。

159 :デフォルトの名無しさん:2011/06/05(日) 00:19:36.36
Unicodeはインディアン依存で、UTF-8はインディアン無関係っていう理解でOK?

160 :デフォルトの名無しさん:2011/06/05(日) 00:22:01.40
合ってるような、合ってないような

161 :デフォルトの名無しさん:2011/06/05(日) 00:30:48.61
規格としてのUnicode:バイトオーダー依存のUTF-16や非依存のUTF-8を含む規格
MS用語としてのUnicode:リトルエンディアン固定のUTF-16
UTF-8: バイトオーダー非依存でおk

162 :デフォルトの名無しさん:2011/06/05(日) 01:23:32.87
嘘つかない

163 :デフォルトの名無しさん:2011/06/05(日) 03:17:36.76
正規化NFCとNFDって、こっちが標準形式とか決まってるものですか?
それともWinとMacでカオス?

164 :デフォルトの名無しさん:2011/06/05(日) 04:26:54.21
"Unicode" をUTF-16の意味で使うのは、Windowsだけじゃなくて
Javaもなんだな。
http://download.oracle.com/javase/1.5.0/docs/guide/intl/encoding.doc.html

165 :デフォルトの名無しさん:2011/06/05(日) 20:08:59.54
>>163
カオスです。

詳しいことはMacOSXの方しか知らないけど、
NFDじゃないのが紛れ込んだりすると、
フレームワークも標準アプリもとても馬鹿げた動作をする。
要するにNFDを徹底できてない。

166 :デフォルトの名無しさん:2011/06/05(日) 21:12:30.76
>>163
どちらも標準形式、両者を扱えないといけない。
>>165
OSXは両刀、テキスト入力とかはNFCだよ。
NFCをファイル名に渡すと自動的にNFDにnormalizeする。
変換、比較のAPIも揃ってる。

167 :デフォルトの名無しさん:2011/06/05(日) 21:20:40.21
MacはUTF-8(NFD)に似た独自の文字コード。
正規化できてないってことはUTF-8と呼ぶことすら問題がある

168 :デフォルトの名無しさん:2011/06/05(日) 21:32:28.48
>>167
それはVFSレイヤに限定した話。
専用のnormalize APIもある。
テキスト等でどんな正規化を使っても構わない、って言うか普通はNFC

169 :デフォルトの名無しさん:2011/06/05(日) 21:57:45.92
POSIXとかCarbon使うと簡単に破綻するけどな。

170 :デフォルトの名無しさん:2011/06/05(日) 22:10:46.58
>>168
>VFSレイヤに限定した話
独自コードの使用場所がファイルシステム限定っていうのは知らんかった。でも
 NFCでファイルシステムに書き込み要求→独自コードに変換される
 →lsの結果を読み込むと独自コードのまま→元のNFCと比較するとアウチ
Mac内だけで既にカオスだね

171 :デフォルトの名無しさん:2011/06/05(日) 22:41:39.84
>>170
正規化無視するにしても、ファイルシステムによって使えない文字(/:とか)や
同一視される文字(大文字小文字とか)は異なるから、ファイル作ったりしたら
実際どういうファイル名になったかは確認する必要あるよ。指定した文字列が
そのまま使われる保証は無い。

172 :デフォルトの名無しさん:2011/06/06(月) 08:09:48.24
VFSレイヤでやってないからそういう問題が頻発するんだろ。
VFS関係ではNFDのコードはhfs+ドライバにしかないから。
Cocoaでもうまく出来てない。
hfs+以外は全部プログラマー任せだから。

173 :デフォルトの名無しさん:2011/06/06(月) 08:52:33.29
/:と文字コードとを同じにしないで欲しいな。
\が/になっても文句言わないけど、シフトJISで
書き込んだファイル名がEUC-JPになったら困るじゃないか。

174 :デフォルトの名無しさん:2011/06/06(月) 18:46:43.25
>>172
>VFS関係ではNFDのコードはhfs+ドライバにしかないから。
>Cocoaでもうまく出来てない。
それは君が知らないだけ。自動変換で不十分ならUnicodeConverterを使えばHFS+ルール
でのNFD/NFC変換もできる。
>hfs+以外は全部プログラマー任せだから。
HFS+以外だと具体的に何が必要になるの?

>>173
>シフトJISで書き込んだファイル名がEUC-JPになったら困るじゃないか。
古目のWindowsのアプリはそうでしょ。ファイル名はUnicodeで保存されてるのに未だに
Shift_JISで扱ってる。zipアーカイブのファイル名をShift_JISで記録してるため、本当の
ファイル名と違うし、UTF-8使ってるOSX等unix系の物と互換性が無いのは有名な話。

175 :デフォルトの名無しさん:2011/06/06(月) 19:25:09.50
>>174
> ファイル名はUnicodeで保存されてるのに
ダウト


176 :デフォルトの名無しさん:2011/06/06(月) 21:04:50.04
保存されてるだろ。実体がUTF16でもそれを隠蔽して
シフトJISに見せてるWindowsをマクとと一緒にすんな
と思ったけど、ラウンドトリップが完全でないからNEC選定IBM拡張文字を書くと
IBM拡張に化けるのかな

177 :デフォルトの名無しさん:2011/06/06(月) 21:12:42.72
>>176
> 保存されてるだろ。実体がUTF16でも
ダウト
http://jp.rubyist.net/magazine/?0025-Ruby19_m17n#f07


178 :デフォルトの名無しさん:2011/06/06(月) 21:19:47.11
文字集合を切り替えて使う方式が最も合理的だろ。


179 :デフォルトの名無しさん:2011/06/06(月) 21:26:00.93
>>177
> >>176
> > 保存されてるだろ。実体がUTF16でも
> ダウト
> http://jp.rubyist.net/magazine/?0025-Ruby19_m17n#f07
正確には今もなお UCS-2 らしい。つまり、サロゲートペアの片方のみの場合がある


180 :デフォルトの名無しさん:2011/06/06(月) 21:58:53.32
>>177
著者成瀬って成瀬ゆいか? あんなアホ男のことを真に受けるとは。

>UCS-2 らしい。つまり、サロゲートペアの片方のみの場合がある
らしいってソース無しかよ。
しかも「つまり、サロゲートペアの片方」って意味わかんね。さすが池沼成瀬

181 :デフォルトの名無しさん:2011/06/06(月) 22:03:20.02
結局レッテル貼りかw

182 :デフォルトの名無しさん:2011/06/06(月) 22:12:52.07
どうせならもっと圧縮率の高いエンコードにしようぜ。


183 :デフォルトの名無しさん:2011/06/06(月) 23:03:57.57
>>181
レッテルっていうけど、自分で試してみればわかるでしょ。
FILE *f = _tfopen(_T("d:\\tmp\\\xD844\xDE3D.txt"), _T("wb")); // ??: U+2123D
明らかにWindowsはUCS-2じゃないよ

184 :デフォルトの名無しさん:2011/06/06(月) 23:24:04.52
>>174
>zipアーカイブのファイル名をShift_JISで記録してるため
日本語版WindowsはシフトジスだがShift_JISではないな。Windows-31J

185 :デフォルトの名無しさん:2011/06/06(月) 23:50:27.43
>>175>>177のダウトは何なの?
UTF-16かUCS-2かは置いておいて
WindowsがUnicodeなのは疑いようの無い事実だと思うんだけど

186 :デフォルトの名無しさん:2011/06/06(月) 23:56:38.49
Unicodeと聞いてUnicode規格でなくUTF-16LEを想像したに決まってんだろ。
そっとしておいてやれ

187 :デフォルトの名無しさん:2011/06/07(火) 00:26:01.87
_T の意味を理解してない奴まだいたんだ。

188 :デフォルトの名無しさん:2011/06/07(火) 00:44:02.43
どうしてunicode=UTF-16LEなのは何で?

189 :デフォルトの名無しさん:2011/06/07(火) 01:19:45.40
Windowsの場合、MBCSに対してのunicodeだよ。
MBCSが文字コードを指定してるわけじゃないのと同じで、
Unicodeも実際のコードを特に名指ししてるわけじゃない。
そこはまた別問題な。
MBCS ←→ unicode
ANSI ←→ wide character
この関係な

190 :デフォルトの名無しさん:2011/06/07(火) 01:23:52.96
UnicodeとUTF-16の違いは?

191 :デフォルトの名無しさん:2011/06/07(火) 01:35:45.36
可逆な圧縮形式と考えたらいい。
実データ……Unicode
圧縮形式……UTF-8 UTF-16等

生waveを圧縮するのにMP3とかWMAとか色々あるだろ。
まあ、これは不可逆だけど。

192 :デフォルトの名無しさん:2011/06/07(火) 02:17:46.91
>>174
FAT32のファイルを扱う時に必要。

193 :デフォルトの名無しさん:2011/06/19(日) 05:08:50.30
>>189
>Windowsの場合、MBCSに対してのunicodeだよ
どうしてそんな嘘付くかなあ。
メモ帳の保存オプション見れば「Unicode」「Unicode big endian」「UTF-8」
が選択できるでしょ。明らかにMS用語のUnicodeはUTF-16のLE(BOM付き)

194 :デフォルトの名無しさん:2011/06/19(日) 22:59:22.95
最初の頃ははBOM付きUCS-2だったんじゃない?

195 :デフォルトの名無しさん:2011/06/19(日) 23:52:11.55
話が噛み合ってないぞ。
 >>188曰く 「MSのUnicode=UTF-16LEはなぜ?」
 >>189曰く 「MSのUnicodeは規格のUnicodeであってLEとか関係ない」
 >>193曰く 「嘘付くな。MSのUnicodeはUTF-16のLE限定」
 >>194曰く 「MSのUnicodeは当初UCS-2の範囲しか扱えなかった」
当初U+10000以上が扱えなかったのは事実だけど、>>193が言ってるのは
リトルエンディアン限定ということ。

ちなみにUCS-2は符号化文字集合だからエンコーディングであるUTF-16と
同列に扱うべきじゃない。BOM付きUCS-2とかいうものは存在しない。

196 :デフォルトの名無しさん:2011/06/20(月) 01:01:12.89
昔はUCS-2がエンコーディングでもあった時代があった。> Unicodeコンソーシアム

197 :デフォルトの名無しさん:2011/06/21(火) 02:43:05.15
Unicode 3.0かな。
ISO 10646ってひょっとしてUCS-2が前提で
U+10000以上をUTF-16で扱えなかったりするの?

198 :デフォルトの名無しさん:2011/06/21(火) 11:47:38.99
UCS-2が前提なのは、DIS 10646 1.0の頃のUnicodeコンソーシアム。
だからUnicodersがDIS 10646 1.0を廃案にした。
その頃Unicodeコンソーシアムは16bitで全て賄うつもりだったから。
結局ダメでサロゲートペア→UCS-4という流れ。
UTF-16はずっと後。

199 :デフォルトの名無しさん:2011/06/22(水) 01:31:59.98
Unicodeが昔16ビット前提だったのは確かだけど、
UCS-2/UCS-4はISOの概念でUnicodeとは直接関係なくね?

200 :デフォルトの名無しさん:2011/06/23(木) 11:36:55.26
ISO/IEC 10646-1:1993 UCS-2

The Unicode Starndard, Version 1.1
は同じ。そのための1.1。
UTF-8, UTF-16は2から。

201 :デフォルトの名無しさん:2011/06/25(土) 20:56:52.95
すいません、
「あんたねぇ、UnicodeとUTF-8の違いが分かってるの?」
を英語に翻訳していただけますか?
バカなアメ公がクソなコードをアップロードしてしまうんで困ってます。

202 :デフォルトの名無しさん:2011/06/25(土) 23:06:12.21
You seems you don't understand difference between Unicode and UTF-8 at all, fucking guy!
適当に翻訳サイトで訳した

203 :デフォルトの名無しさん:2011/06/25(土) 23:19:37.00
youなのにseems?

204 :デフォルトの名無しさん:2011/06/25(土) 23:55:11.65
つか丁寧な出だしなのに最後がfuckingで面白い

遠回りな表現しないで確実にUTF-8の文字コードでアップしろでいいじゃん
二つの違いを教えたいわけじゃない

205 :デフォルトの名無しさん:2011/06/26(日) 00:35:52.32
書きだし you seems はいらんな

Why don't you understand the difference between Unicode and UTF-8 ?

206 :デフォルトの名無しさん:2011/06/26(日) 00:50:25.50
>>196 嘘つくな
「UCS」は符号化文字集合。「UCS-2」はエンコーディング。
ちゃんとISO/IEC 10646読め。

>>201
TOEIC 330点の俺が訳すと
Please seive file as UTF-8 encoding, not as Unicorde.

207 :デフォルトの名無しさん:2011/06/26(日) 02:01:46.16
UnicodeとUTF-8の違いがわかっていない発言の例だな >>201

208 :デフォルトの名無しさん:2011/06/27(月) 13:35:43.31
確かにそのようにも取れるが
易に断罪してしまうのは間違いだと思う。

209 :デフォルトの名無しさん:2011/06/27(月) 19:45:43.18
「文字コードとシフトジスの違いがわかってんのか? 糞な文字コードでうpするな」
って言っているようなもの。あきらかな理解不足

210 :デフォルトの名無しさん:2011/06/27(月) 20:54:21.02
Unicode規格って、文字集合とエンコーディングひっくるめた規格だっけ?
なんかそこらへん曖昧になる。>>19はあってるのか?

211 :デフォルトの名無しさん:2011/06/27(月) 23:23:17.83
>>210
>Unicode規格って、文字集合とエンコーディングひっくるめた規格だっけ?
その通り。
 エンコーディングに関する仕様: http://www.unicode.org/versions/Unicode6.0.0/
 文字集合の定義:http://www.unicode.org/charts/

>>>19はあってるのか?
違う。Unicodeは規格であって、文字集合の名前じゃない


212 :デフォルトの名無しさん:2011/06/27(月) 23:53:43.78
文字集合を指すときは、なんて言えばいいんだ? Unicode表?
UCS-2とかUCS-4はどっちだっけ

213 :デフォルトの名無しさん:2011/06/28(火) 00:09:11.90
UCSが何の略かを思い出せ

214 :デフォルトの名無しさん:2011/06/28(火) 00:09:51.48
UCS-4はISOのエンコーディングの名前。
UCSはISOの文字集合の名前。
Unicodeの文字集合に名前はない。

215 :デフォルトの名無しさん:2011/06/28(火) 00:12:21.43
>>213
Universalだろ。Unicodeとは関係なし

216 :デフォルトの名無しさん:2011/06/28(火) 00:21:52.80
CSはどこいっちゃったんだよ

217 :デフォルトの名無しさん:2011/06/28(火) 00:34:05.00
UCSはUniversal Coded Character Setの略。
Cが一個どこに行っちゃったのか不明。
Unicodeの文字集合は「Unicodeの文字集合」でいいんじゃない?

218 :デフォルトの名無しさん:2011/06/28(火) 10:29:58.08
201です。
まず訂正。
×バカなアメ公
○バカなイタ公
クソコードを投稿(正確にはsvnリポジトリーにコミット)してたのは、イタリア人でした。
でもコードを管理してるコミュニティの親分はアメリカ人で、そいつのチェックでOKが出た上で投稿されたんです。

コードというのは、javaで書かれたプログラムコードのことで、テキストのエンコードのことではありません。
話が長くなるのでアレですが・・・
javaでは内部的に文字列をユニコードで処理しています。1文字は16ビットです。
Windowsも皆さんご存知の通り、内部的に文字列をユニコードで処理しています。1文字16ビットです。
Win32APIの末尾に w が付くやつがそうですね。
つまり、javaで何も考えずにフツーにプログラミングすれば、アメ公が作ってもイタ公が作っても
自動的に日本語対応になるんです。
あとは画面に表示されるメッセージを言語別に作成して、利用者の言語にあわせて切り替える仕組み
にしてやれば、マルチリンガルなアプリケーションの一丁あがり!ってワケです。
javaにはもともと、そういう仕組みが用意されてるので簡単です。
ところが、件のバカなイタ公は、文字列を一旦 UTF-8 にエンコードしてから表示しようとするんです。
もちろん文字化けします。バカなイタ公はなぜ文字化けするのか理解できないので
今度はそのUTF-8エンコードされた文字を、javaからWin32APIのWriteConsoleWに渡そうとします。
もちろん文字化けします。バカなイタ公はなぜ文字化けするのか理解できないので
今度はコンソールのコードページを無理やりUTF-8に変更するAPIを使いドツボにハマっています。
何もしなくていい、ただ System.out.println()関数でフツーに表示すればいい、ってのが理解できんのです。

アプリケーションをユニコード対応して国際化したい一心で一生懸命がんばってくれてるキモチはアリガタイwのですがw
ユニコードとUTF-8の違いが理解できてないため、まったくトンチンカンなプログラムコードを書いて投稿します。

このイタ公を何とかして退治したいです。イタ公の愚行をやめさせるナイスな文章を教えてください。
コミュニティは英語以外禁止なので英語で構いません。

219 :デフォルトの名無しさん:2011/06/28(火) 10:46:16.97
おまへは先ず日本語を勉強汁

220 :デフォルトの名無しさん:2011/06/28(火) 10:46:39.02
>>211
>  エンコーディングに関する仕様: http://www.unicode.org/versions/Unicode6.0.0/

ここで文字集合も定義しているが?

221 :デフォルトの名無しさん:2011/06/28(火) 20:25:40.31
>>218
TOUIC 420点の俺が説明すると

Don't use JNI.
Don't use new String() or String#getBytes().
Never change code page for console window (use default always).
Simply, you should pass String objects to System.out.println.
ex 1. println("native text")
ex 2. println(str)

Encoding conversion as below is performed:
source text(Native encoding) ->(compilation)-> UTF-16/class file
-> String object(UTF-16) -> System.out.println -> Windows
   -> (Windows converts UTF-16 to native encoding)

222 :デフォルトの名無しさん:2011/06/29(水) 11:02:32.90
>>218
中学生の妹のことで困っています。
ここ最近、妹は風呂上りに毎回僕の部屋にやってきます。
脱衣所でしっかり体を拭いていないせいか、濡れたタンクトップに乳首が透けて浮き出ています。
視線を逸らしながら注意すると「やっぱ妹のでも気になるんだ?」
と俺をからかいはじめる始末です。
こんな調子で二三時間も居つかれては堪ったもんじゃありません。
この高見盛そっくりの妹を退治するにはどうしたらいいのでしょうか。

223 :デフォルトの名無しさん:2011/06/29(水) 11:03:28.46
UnicodeとUTF-8の違いわかってない土方大杉

224 :デフォルトの名無しさん:2011/06/29(水) 14:56:27.20
>>218 四行目で読むのやめた
>>222 三行目まで読んだ

225 :デフォルトの名無しさん:2011/06/29(水) 16:20:10.45
>>221
TOUICってのは何万点満点なんだい?

226 :デフォルトの名無しさん:2011/06/29(水) 22:41:25.18
>>222
漏れにくれ

227 :デフォルトの名無しさん:2011/06/30(木) 08:19:39.53
>>223
このスレは3スレ目なのに、酷いものだ

228 :221:2011/06/30(木) 08:27:39.19
>>225
ん?よくしらないけど1000点じゃね。
そのくらい自分で調べな

229 :デフォルトの名無しさん:2011/06/30(木) 12:00:51.80
>>228
そもそもTOUICってなんの試験?
馬鹿レベルを計るもの?恥レベル?

230 : 忍法帖【Lv=14,xxxPT】 :2011/06/30(木) 13:58:51.40
>>229
Test Of Unwise International Computation.

231 :デフォルトの名無しさん:2011/07/01(金) 13:39:03.71
なんか長文あったから読んでみたけどいらない情報多すぎだし、このスレに来る人なら知ってることをダラダラ書いてるし途中でやめた

232 :デフォルトの名無しさん:2011/07/03(日) 03:52:20.12
Windowsでサロゲートペアのファイル名がZIP圧縮出来ないんだけど、なんとかならんの?
今時シフトJISしか扱えないなんて糞過ぎる。
スマホ上で作ったUTF-8ファイル名のZIP持ってくると文字化けしまくる。
ファイル名にBOM付けてもいいからマジ何とかしてほしい

233 :デフォルトの名無しさん:2011/07/03(日) 05:03:45.92
コントロールパネル
 →個人設定
  →システムロケールの変更
   →再起動

234 :デフォルトの名無しさん:2011/07/03(日) 05:33:52.76
ZIPそのものが古代の遺物。7-Zipにすればよろしい。




235 :デフォルトの名無しさん:2011/07/03(日) 14:42:31.19
>>232
お前が使ってる糞解凍ツールを見直すべきかと

236 :デフォルトの名無しさん:2011/07/09(土) 13:45:03.50
Unicodeの文字に言語情報ってある? 日本語かどうか判断したいんだけど。
JIS2004は日本語と判断したい

237 :デフォルトの名無しさん:2011/07/10(日) 04:31:44.19
>>236
そんなものは無いし、JIS2004をそのまま含んでいる訳ではないので不可能。

JIS2004に追加された文字でUNICODEに無かった分をUNICODE3.1や3.2でUNICODEに追加した分というのなら調べればわかる。

238 :デフォルトの名無しさん:2011/07/10(日) 17:04:21.42
極端な話アルファベットで日本語の文章を書くことも出来るわけで、
言語とスクリプトは別というのはわりと基礎知識。


239 :デフォルトの名無しさん:2011/07/10(日) 19:43:44.83
そんな極論聞いてるわけじゃないんだよねえ

240 :デフォルトの名無しさん:2011/07/10(日) 20:40:34.17
極論じゃないでしょ。
>>236の言う「日本語かどうか」がどういう意味かによって、
やり方が全然変わってくるんだから。
JISで登録されてる文字集合に含まれてるかどうかでいいってのなら、
テーブル見れば済む。
けどそんなこと質問するかね。

241 :デフォルトの名無しさん:2011/07/10(日) 21:22:02.68
>>240
Unicodeの文字集合はUnifiedだから、一つの文字が複数の言語に
対応するのは>>236もわかってるでしょ。>>236
 「A」: 英語,日本語
 「百」: 日本語,中国語
 「あ」: 日本語
みたいなテーブルが欲しかったんでしょ。そんなものは無い。

>>240
>テーブル見れば済む
どこかに正式なものが公開されてる?
無保証でいいなら http://x0213.org/codetable/sjis-0213-2004-std.txt とかあるけど

242 :デフォルトの名無しさん:2011/07/11(月) 13:36:38.84
>>218
超一般論として、説明してもわからない
我々がどっか外国のLatinなんとかの違いでの動作の違いを英語で追求されてもぶっちゃけよくわからんのと一緒だ

エラーが出るテストを作ってそれをつき突けろ
最終的にはそれしかない
「よくわからんがこのテストが通ってるんだからあちらでも問題はないんだろう」というものを作ってさしあげろ

243 :デフォルトの名無しさん:2011/07/11(月) 19:57:07.03
一塊の文章としてなら、IMultiLanguageで文字コードを推定することはできるはずだぜ?

244 :デフォルトの名無しさん:2011/07/12(火) 08:47:17.73
>>242
>我々がどっか外国のLatinなんとかの違いでの動作の違いを英語で追求されてもぶっちゃけよくわからんのと一緒だ

ぶっちゃけこの業界はコミュ障が多いから
そこまで他人の立場に立って理解出来る香具師は少ない

245 :デフォルトの名無しさん:2011/07/12(火) 16:41:00.55
つーか、駄目なコードの例と正しいコードの例を提示すればいいだけなんじゃねーの?

246 :デフォルトの名無しさん:2011/07/14(木) 00:29:31.56
流れを断ち切って申し訳ないが、
UTF-8がバイトオーダーの影響を受けてLE,BEに分かれないのはどうして?
いや、UTF-16だけが特殊なのか?
CPUがメモリ上の複数バイトを読み書きする際の配置の都合からLE,BEがあるのなら、
UTF-8だってASCII文字以外は複数バイトでしょ?

247 : 忍法帖【Lv=24,xxxPT】 :2011/07/14(木) 00:58:37.24
UTF-8は1バイトずつ読み書きする。


248 :デフォルトの名無しさん:2011/07/14(木) 01:17:06.25
>>246
1文字(16bit整数値1つ)を、どういうバイト列に変換するかの問題。
UTF-16LEは、UCSの1文字を2byteのバイト列に変換する。その順番も規定されている。あ(\u3042) → 42 30
UTF-16BEは、UCSの1文字を2byteのバイト列に変換する。その順番も規定されている。あ(\u3042) → 30 42
UTF-8は、UCSの1文字を1-4byteのバイト列に変換する。その順番も規定されている。あ(\u3042) → e3 81 82

2byteの整数をサイズ2のバイト列に変換する方法は、簡単で合理的な2種類ある(BE,LE)ので、
どちらを使えばいいか迷ってしまい、みんなで混乱する。
一方、2byteの整数をサイズ1〜3のバイト列に変換する方法は、それほど自明ではないので、
誰かが「UTF-8」としての変換ルールを決めた。そしてみんながそれに従った。現状、それがうまくいっている。

仮に、「UTF-8なんとか」というUTF-8に似て非なるルールが乱立するなら、UTF-16のLE/BEの混乱と
近いことが起こるかもしれないけど、たまたま現実はそうなっていない。

249 :デフォルトの名無しさん:2011/07/14(木) 07:28:59.02
MIME64と一緒か

250 :デフォルトの名無しさん:2011/07/14(木) 08:26:50.94
>>246
UTF-8はエンコーディングフォームが1オクテット単位だから、
UTF-8エンコーディングスキームはバイトオーダーに依存しない。

UTF-16とUTF-32エンコーディングフォームが2/4オクテット単位だから、
エンコーディングスキームが複数必要となった。

251 :デフォルトの名無しさん:2011/07/14(木) 19:26:49.50
LEとかBEとか分けないで、どちらかに統一すればいいのに。

252 :デフォルトの名無しさん:2011/07/14(木) 20:23:18.94
できなかったからこうなってるんだろ

253 :デフォルトの名無しさん:2011/07/14(木) 21:58:52.88
UTF-16/32は内部表現として採用されることが多い。
だからバイトオーダーの問題が出てくる。

UTF-8はそんまんま垂れ流すのでなければ、
内部表現としてのUTF-16/32と併用されることが多く、
その場合decodeがいずれにせよ必要となるので、
バイトオーダーと逆順になっていても大した手間じゃない。



254 :デフォルトの名無しさん:2011/07/14(木) 22:48:24.40
LEとBEは、規格上で相互運用とかをあんまり考えなかった結果…ではある
どっちかに我慢してもらって無理してでもどっちかに決めてしまえばよかった
本当はね
LEでもBEでもどちらでももちろん構わないというのは、うんざりするほど正当で当たり前だが、うんざりだ

255 :246:2011/07/15(金) 07:20:47.59
レスthxです。
おかげさまでずっと疑問だったのが解消しました。
CPUの都合を考慮して2種類規格化してくれただけなんですね。
>>253
これは少し考えていました。
画像ファイルに例えるならばUTF-8=JPEG,UTF-16=BMPで、
JPEGはメモリ上にBMP形式で展開&編集され、最終的にJPEGで再保存される。
JPEG(UTF-8)がデータ交換用としての相互運用性を重視される一方、
BMP(UTF-16)はメモリ上での編集のし易さが重視される。
UTF-16においては、それはLE,BEの許容にあたる。
という認識です。

しかし内部形式って意識されるべきですか?
恥ずかしながらVB以降の言語しか分かりませんが、
通常charの型変換には符号化方式の指定が必要なので気にしたことがありません。
(short)charをファイルにシリアル化するような事があったとしても、
これはテキストと見せかけてバイナリファイルですと言い張るかも。

C言語なんかだと意識するんですか?
UNICODEをAPIで扱うならば内部的にはポインタ/byte[]で持つんですよね?
だとしたら意識しないといけないのかな?

あ、JAVAでもif('A'<=VALUE || VALUE <= 'Z')と書けるのはUTF-16BEだからですか!
無意識に書いてましたorz

256 : 忍法帖【Lv=25,xxxPT】 :2011/07/15(金) 07:47:31.64
画像に擬える辺り、根本から判ってない悪寒。

257 :デフォルトの名無しさん:2011/07/15(金) 07:59:23.90
低レベルの挙動を考えたら、LEとBEは両方必要だろと普通に思うがな

258 :デフォルトの名無しさん:2011/07/15(金) 08:02:47.23
ネットワークバイトオーダーっつうもんがあるように、
交換形式はどっちかにしちまえよ、って思ったことはある。

259 :デフォルトの名無しさん:2011/07/15(金) 08:59:25.19
>>258
それは実質UTF-8だな
UTF16/32のままネットワークを流れることはあまりない

260 :デフォルトの名無しさん:2011/07/15(金) 14:23:43.37
>>258
大量のテキストを処理したい時に、
内部表現と同じテキスト形式が存在しないのは不便。
実行環境の内部形式に依存しても、軽快に扱いたい局面はある。
たとえばテキストデータベースの二次記憶保存など。

ネットワークバイトオーダーについては、
TCP/IPのヘッダー部はデータ量が少ないし、
最近はハードウェア評価だからオーバーヘッドにはならない。
それにデータ交換についてはプロトコル毎に決めればいい。

261 :デフォルトの名無しさん:2011/07/15(金) 21:33:02.35
>>255
>しかし内部形式って意識されるべきですか?
意識する必要は無いし、UTF-16フォームにLEとBEの区別は無い。
ただし外部形式であるUTF-16スキームにはLEとBE区別が当然ある。

262 :デフォルトの名無しさん:2011/07/15(金) 23:55:08.88
>>255
せめてPNGにしとけ。それなら話が通じる

263 :デフォルトの名無しさん:2011/07/16(土) 11:30:38.92
ヒント:
Unicode = UTF-16
UTF-8 = UTF-8


もともと、Unicodeに準拠した文字コードはUTF-16しかなかったから
文字コードはUnicodeという記述をするとUTF-16をさす

その後、UTF-8というものが増えた為、
それと差別をするために、UTF-16という言葉が発生しました

なので今となっては
Unicodeは文字一覧を指し、
UTF-16/UTF-8は文字コードの種類を指す
という意味が正しいのだが、昔の事情があったため、
文字コードUTF-16をUnicodeという言い方をする場合がある

264 :デフォルトの名無しさん:2011/07/16(土) 11:37:43.86
ドヤ顔でそんな事言われても

265 :デフォルトの名無しさん:2011/07/16(土) 12:16:52.83
しかしエンコーディングをUnicodeって言うのはやめてほしい
昔はそうだったのかもしれないけど、気持ち悪くて

266 :デフォルトの名無しさん:2011/07/16(土) 12:37:51.74
UCS-2ですよ。Unicodeって言われた時代はありません。

267 :デフォルトの名無しさん:2011/07/16(土) 20:26:19.26
>>263
> 文字一覧

文字セットの方が好き

268 :デフォルトの名無しさん:2011/07/17(日) 16:28:44.12
マクのSJIS-Unicode変換ルールを知りたいのですが、
どこかに公開されていないでしょうか。
特にNEC特殊文字やIBM拡張文字(「@」(U+2460)など)がどうなるか知りたいです。

269 :デフォルトの名無しさん:2011/07/17(日) 16:53:25.93
どうもならんよ

270 :デフォルトの名無しさん:2011/07/17(日) 17:13:37.77
数多いShift_JISベンダー拡張の「MacJapanese」からのなら
http://unicode.org/Public/MAPPINGS/VENDORS/APPLE/JAPANESE.TXT
にあるけど、今もこの変換通りなのか不明。
Microsoft拡張のCP932との関係も少しだけコメントが書いてある。


271 :デフォルトの名無しさん:2011/07/17(日) 17:14:29.89
どうにもならない、というのは、
U+2460をシフトジスに変換すると24 60の2バイトになるということかな?

272 :デフォルトの名無しさん:2011/07/17(日) 17:15:05.68
これを挙げ忘れた。
http://unicode.org/Public/MAPPINGS/VENDORS/APPLE/Readme.txt

273 :デフォルトの名無しさん:2011/07/17(日) 19:22:02.19
>>270
>今もこの変換通りなのか不明
今も昔もこのルールか実装されたためしなんて無い。
|0x5C 0x00A5 # YEN SIGN

274 :デフォルトの名無しさん:2011/07/17(日) 20:23:16.02
>>273
Character ViewerからShift-JIS(X0208)指定して005Cダブルクリックで入力すると
アプリ側にはU+00A5が渡るけど
CoreFoundationで変換してもU+00A5になる。

275 :デフォルトの名無しさん:2011/07/17(日) 21:07:44.60
>>268
MacはもうShift_JISは使ってないよ。
UnicodeとShift_JISの変換は当然できるけど、動作はAPIに対するパラメータ次第。
例えばU+2460に対しては古いMacJapaneseを指示すれば0x8540が返るし、X0208を
指示すると変換できずエラー、X0213を指示すると0x8740が返る。
端的に言うとパラメータで指示した規格に沿った値に変換される。

276 :デフォルトの名無しさん:2011/07/17(日) 22:33:23.51
シフトJISを規定の文字コードとするアプリケーションは、Mac OS Xには無いそうです。
JDK 6とかな。

277 :デフォルトの名無しさん:2011/07/17(日) 23:13:50.55
Shift_JISX0213のエンコーディングを実装してるなんて、マッコステンて無駄にすげーな。
シフトジスの84 BF(丸付き21)をUTF-16に変換すると27D0になったり、
シフトジスのFCA3をUTF-16に変換するとD867 DFCEになっちゃうわけ

278 :デフォルトの名無しさん:2011/07/18(月) 21:57:13.75
Windowsも正確には MS932(CP932やWIN31Jとも言うが)なんだけどな

279 :デフォルトの名無しさん:2011/07/18(月) 23:46:46.27
そんな偉そうにIANAに登録されていない名前を列挙されても

280 :デフォルトの名無しさん:2011/07/19(火) 01:26:36.91
ドヤ顔でズレたこと言ってるのはお前じゃねーの
>>278はshift_jsと違うってことが言いたいんだろ

281 :デフォルトの名無しさん:2011/07/19(火) 02:20:03.27
まぁ、ちゃんとした名前で言っておけばつっこまれなかったかもしれんぞ。
Windows-31J な。
http://www.iana.org/assignments/character-sets


282 :デフォルトの名無しさん:2011/07/19(火) 03:23:11.11
WIN31J「とは言わない」からな
その時点でいろいろ知れる

283 :デフォルトの名無しさん:2011/07/19(火) 06:06:29.06
>>280
node.jsの親戚かと。

284 :デフォルトの名無しさん:2011/07/19(火) 10:14:52.68
>>278
MS932とはあまり言わないだろう、Microsoftの「Code Page 932」って規格だから略称としては「CP932」が適切

285 :デフォルトの名無しさん:2011/07/19(火) 10:39:36.67
>>284
MS932はJava語で、おおむね、Windows-31Jを指すはず(IBM版CP932とは違う)
Javaが独自分類表現を使用しているなんて夢にも思わない人がJavaの外に持ち出して恥をかくことがある

286 :デフォルトの名無しさん:2011/07/19(火) 11:26:26.69
よくこんな細かいことで争えるなあ・ω・

287 :デフォルトの名無しさん:2011/07/19(火) 11:39:43.38
別に細かくはない
ギョウザを頼んだらシュウマイが出てきた、くらいには違う

288 :デフォルトの名無しさん:2011/07/19(火) 11:44:54.65
Wikipediaが正しいかわからないけど、色々な経緯が載ってる

http://ja.wikipedia.org/wiki/Microsoft%e3%82%b3%e3%83%bc%e3%83%89%e3%83%9a%e3%83%bc%e3%82%b8932

289 :デフォルトの名無しさん:2011/07/19(火) 14:43:58.56
CP932はLLのコード指定なんかでも良く使われる名前だし、突っ込むほどでもないと思うがな

290 :デフォルトの名無しさん:2011/07/19(火) 15:44:26.12
>>289
CP932は問題になってはいない
っていうかお前>>278だろ

291 :デフォルトの名無しさん:2011/07/19(火) 23:27:12.20
Windows-31J はJavaのJSPだっけ?でしか
聞いたことがない。

292 :デフォルトの名無しさん:2011/07/21(木) 23:17:57.44
日本語版Windowsのメモ帳の文字コードがWindows-31Jなのは
間違いないし、Shift_JISでないのも確かだが、
「シフトジスではない」と言われるとそれは違うだろう。
どう考えてもWindows-31Jはシフトジス。

293 :デフォルトの名無しさん:2011/07/21(木) 23:33:26.32
>>288
|マイクロソフト及び、MS-DOS の OEM ベンダが Shift JIS を独自に拡張した文字コードである。
でたらめな説明だな。

もともとアスキーマイクロソフトが考えた文字コードが「シフトJIS」と呼ばれ、
正確な定義はどこにも無かった。
1997年にJISが「Shift_JIS」を定め、それは世の中にあるシフトJISの
共通部分であるX 0201,X 0208のみを対象としたものだった。

だからShift_JISもWindows-31JもシフトJISの一種でしか無い。
拡張なんて嘘がどこからでてきたんだ。

294 :デフォルトの名無しさん:2011/07/21(木) 23:55:46.23
文中では「Shift JIS」で、
wikipedia項目に飛ぶと「Shift_JIS」になってるな。無茶だなw

Windows-31Jは、初期の「Shift JIS」からは文字が足されて拡張されているけど、
その飛び先が「Shift_JIS」ではな。
「Shift_JIS」の項目内で「Shift JIS」と「Shift_JIS」の使い分けが甘い。

295 :デフォルトの名無しさん:2011/07/22(金) 02:15:49.92
>>294

Wikipedia のリンク名には制約があって、「_」と「 」が区別できない。


296 :デフォルトの名無しさん:2011/07/22(金) 02:17:52.27
リンク名というか記事名だな
他にも記事名に使えない記号ってあるのよね

297 :デフォルトの名無しさん:2011/07/23(土) 09:13:21.14
Wikipedia のタイトルの制約には昔から悩まされてる。

1. アンダースコアが空白になる
2. ふたつ以上の空白がひとつにまとめられる
3. 先頭と最後の空白が除去される
4. [ ] { } < > | # が使えない
5. : が特殊な意味を持つことがあり、たとえば「:」からはじまるタイトルが作れない
6. 先頭の1文字が大文字になる
7. 長さ制限(UTF-8 で 255バイト以内)がある

リンクするときにはさらに複雑な制約がかかる。


298 :デフォルトの名無しさん:2011/07/23(土) 10:12:07.29
文字コードの話じゃないけど、入力文字に複雑な制限があるのは
エスケープ前と後の区別がつけられないできの悪いエンジニアが
作ったんだろうな。そういう人たちがSQLインジェクションとか起こす。

299 :デフォルトの名無しさん:2011/07/23(土) 10:46:25.58
記事名がURLになる、というのは便利なんだがそういう弊害もあるよな。
逆にハッシュ値のような長いURLは不便だし、シリアルナンバーも微妙。

MediaWikiって内部的に持ってる記事名も空白が _ になってたりして、
そのへんの設計も微妙だな。

300 :デフォルトの名無しさん:2011/07/23(土) 12:35:06.53
スレ違い

301 :デフォルトの名無しさん:2011/07/23(土) 13:06:04.48
Not スレ違い

http://ja.wikipedia.org/wiki/~
http://ja.wikipedia.org/wiki/%EF%A8%99
http://ja.wikipedia.org/wiki/%E7%A5%9E


302 :デフォルトの名無しさん:2011/07/23(土) 17:00:46.82
記事名の問題だけじゃなくShift JISの記事は内容がおかしいな。


303 :デフォルトの名無しさん:2011/07/23(土) 19:16:54.74
そういう時は君が修正すれば良い。

誰でも修正できるのだから、それをせずに
間違っていると言ったところで信用されない。

言う前に直してから、直したよと報告すればいい。

304 :デフォルトの名無しさん:2011/07/23(土) 19:50:47.55
>そういう時は君が修正すれば良い。
これはそうなんだが

>誰でも修正できるのだから、それをせずに
>間違っていると言ったところで信用されない。
こういうことを言う奴って頭おかしいんじゃないかと思う。
ただ間違ってるものを見たときに間違ってると言ってはいけないだろうか。

305 :デフォルトの名無しさん:2011/07/23(土) 21:02:27.38
好きにすればいいんじゃねーの?
俺は>>304みたいのを見ると頭おかしい人なんだなと思うけど
言いたいこと言うのはいいことだと思うようん

306 :デフォルトの名無しさん:2011/07/23(土) 21:12:44.57
>>304
お前は間違っている。


間違っているものを見たので
つい言ってしまったw

307 :デフォルトの名無しさん:2011/07/23(土) 21:28:03.23
A: ○△に〜って書いてあったよ
B: それ間違ってるね
A: 間違ってるって言う前に○△を修正しなよ
B: ハァ? 何で俺が○△とかいうのを直さなきゃいけないの

>>304はともかく、>>303が変なのは確定的に明らか

308 :デフォルトの名無しさん:2011/07/23(土) 21:32:53.91
A: ○△に〜って書いてあったよ
B: それ間違ってるね
A: 間違ってるって言う前に○△を修正しなよ
B: ハァ? 何で俺が○△とかいうのを直さなきゃいけないの
A: ○△は誰でも修正できるものだから。


309 :デフォルトの名無しさん:2011/07/23(土) 21:41:10.14
「誰でも修正できる」がなんで「見つけた人は修正する義務がある」にすり替わるよ。
頭だいじょうぶ?

310 :デフォルトの名無しさん:2011/07/23(土) 21:44:07.47
誰が義務があるって言ったんだ?

311 :デフォルトの名無しさん:2011/07/23(土) 22:19:21.22
おまえら楽しそうだな。

312 :デフォルトの名無しさん:2011/07/23(土) 22:44:52.69
仲良くしてね

313 :デフォルトの名無しさん:2011/07/23(土) 23:11:11.98
とりあえずシフトジスって書かれたときは99%はWindows-31Jのことだから、
Windows-31Jって書いておけば問題ない。

314 :デフォルトの名無しさん:2011/07/24(日) 10:08:13.04
Windows-31JはJava用語で一般的ではないから
他では通じない。CP932と言ったほうがいい。

315 :デフォルトの名無しさん:2011/07/24(日) 10:26:45.92
>>314
2点
レス欲しいなら狂人の真似を

316 :デフォルトの名無しさん:2011/07/24(日) 11:58:46.32
いや事実を言っただけなんだが。

317 :デフォルトの名無しさん:2011/07/24(日) 12:50:28.09
「Windows-31J」はIANAに登録された一般的な名前で、Java固有ではない。
HTTPのContent-Typeにも(条件付きではあるが)正式に使用できる名前。

なお.NET FrameworkのEncoding.GetEncodingは、文字コード名をパラメーターに
取るのではなくWindowsコードページ名を受け取るので、Windows-31Jは指定できない。

318 :デフォルトの名無しさん:2011/07/24(日) 17:21:27.70
>>317
GetEncodingは.NETのウニコード文字をローカルに
変換するルールでしょ
IANAが決めているのは文字コードであって、
ユニコードとの変換ルールでないんだから当然

319 :デフォルトの名無しさん:2011/07/24(日) 20:34:52.28
>>315
861 :デフォルトの名無しさん:2011/01/04(火) 20:39:59
SJISはウンコ、CP932はウンチ

320 :デフォルトの名無しさん:2011/07/25(月) 11:13:51.23
IANAのcharset名、Windows関連は
"Windows-コードページ番号"で統一できたらよかったのにな。


321 :デフォルトの名無しさん:2011/07/25(月) 15:50:16.53
Wikipediaなんて間違いだらけなのは、まともな技術屋ならしょっちゅう見て理解してるだろ…
内輪ルールがめんどくさすぎて修正しねーことも多いわ
一応、楽に修正できそうな範囲ならするけどな

322 :デフォルトの名無しさん:2011/07/25(月) 18:40:44.97
間違いっていうか意図的な捏造もかなりあるぞ
特に反日歴史関連は酷い


323 :デフォルトの名無しさん:2011/07/25(月) 18:53:37.20
ウヨ脳乙

324 :デフォルトの名無しさん:2011/07/25(月) 22:23:54.09
えっ

325 :デフォルトの名無しさん:2011/07/26(火) 18:33:59.96
要するに>>278の言いたい「正確」ってのが何だったのかが分からんということだな

326 :278:2011/07/27(水) 01:27:57.83
拡張漢字(NEC選定IBM拡張・IBM選定IBM拡張・NEC特殊文字)を含む場合は
MS932かCP932あるいはWindows-31J
が正しい
Shift_JISに拡張文字は無い

なので、
「MS932かCP932あるいはWindows-31J」>「Shift_JIS」
なのだろう

それが正確

327 :デフォルトの名無しさん:2011/07/27(水) 08:04:57.93
正式名称と通称は区別してよ。

シフトジス
 ├Windows-31J(X 0201,X 0208,NE特殊,NEC選定IBM拡張,IBM拡張)→通称MS932,CP932
 └Shift_JIS(X 0201,X 0208)

328 :デフォルトの名無しさん:2011/07/27(水) 10:09:52.09
文字エンコーディング・文字コードは技術ではなく(おそらくは残念なことに)ただの政治なので、
ちょろっと読んだ人がしたり顔できるほど相関関係は単純ではない

329 :デフォルトの名無しさん:2011/07/27(水) 11:56:11.29
CP932はMicrosoft的には正式名称でしょ。

330 :デフォルトの名無しさん:2011/07/27(水) 20:47:15.11
>>329
コードページの932番というのは正式な番号だけど、
「CP932」という名前はちょっと違うんじゃね

331 :デフォルトの名無しさん:2011/07/27(水) 23:11:17.71
microsoft.comの公式文書でcp932と表現してる所がある。

332 :デフォルトの名無しさん:2011/07/28(木) 04:13:07.78
cp65001

333 :デフォルトの名無しさん:2011/07/28(木) 13:21:19.41
IANAだけ正式だと思ってるのは勘違いだわな

334 :デフォルトの名無しさん:2011/07/28(木) 22:52:57.57
ソースが出てこないから突っ込まれるんだよ。
MSの文書で文字コード名cp932が定義されているソース出してみろや。
コードページの932番じゃなくて「cp932」な

335 :デフォルトの名無しさん:2011/07/28(木) 23:41:20.22
後付けくさい理由で絡んでるようにしか見えないが

336 :デフォルトの名無しさん:2011/07/28(木) 23:41:29.23
ぐぐれ
http://social.msdn.microsoft.com/search/ja-JP?query=cp932

337 :デフォルトの名無しさん:2011/07/28(木) 23:48:40.52
socialはちょっと…
msdn本家ページにもあるよ。

338 :デフォルトの名無しさん:2011/07/29(金) 16:00:03.50
今度は「使っているというだけでは正式な定義ではない」とか絡んでくるんじゃねーの
ぶっちゃけ心底どうでもいいんだが

339 :デフォルトの名無しさん:2011/07/29(金) 23:51:06.97
仕様がどうでもいいとかいうやつは、
プログラマーやめたほうがいいんじゃねーの

340 :デフォルトの名無しさん:2011/07/29(金) 23:59:57.74
プログラマにとっての仕様なんて、
「コメントを求む」程度の文章でいいんだよ。

341 :デフォルトの名無しさん:2011/07/30(土) 02:47:52.95
自ら勉強する気が無いならやめてしまえ

342 :デフォルトの名無しさん:2011/07/30(土) 10:43:39.89
自ら勉強する気はあるが、
会社のためにしかならないことを
勉強する気にはならない。

343 :デフォルトの名無しさん:2011/07/30(土) 14:40:35.21
向上心が無いのは仕方ないが、仕様が守れない奴は会社やめれ
例えば Content-Type=text/htm; charset=Shift_JIS
で、丸付き数字とか送られてきた日にはブチ切れですよ。
僕のパソコンの僕のブラウザでは表示できましたとか言い出すと殺意を覚える

344 :デフォルトの名無しさん:2011/07/31(日) 00:31:57.60
text/htmってのひどいな

345 :デフォルトの名無しさん:2011/07/31(日) 01:37:05.98
typoにマジレス。カコワルイ

346 :デフォルトの名無しさん:2011/07/31(日) 03:22:17.45
>>343
世の中仕様が全てではないんだよ。

347 :デフォルトの名無しさん:2011/07/31(日) 03:33:15.68
仕様書に必要なこと全てが書いてあるとは限らんが、
>>343のは仕様で禁止されたことをやってんでしょ。
それはまずい。

348 :デフォルトの名無しさん:2011/07/31(日) 11:22:19.48
charset=Windows_31J
なら良かったのか

349 :デフォルトの名無しさん:2011/07/31(日) 13:39:25.25
JavaやってるとContent-Typeと文字コードがリンクしてるから死活問題だな。
鯖と端末双方が「@」を使うと合意した上でWindows-31J使うのが正しいと思う。

350 :デフォルトの名無しさん:2011/07/31(日) 22:12:23.38
> JavaやってるとContent-Typeと文字コードがリンクしてるから

設計が現実を処理できない仕様になってる。
ダメな設計だ。

351 :デフォルトの名無しさん:2011/08/01(月) 06:21:06.64
Ruby1.9.3がSJISをWindows-31Jと認識するようになった

352 :デフォルトの名無しさん:2011/08/01(月) 07:09:08.98
何か問題が?

353 :デフォルトの名無しさん:2011/08/04(木) 20:55:45.64
世の中で使われているシフトジスの実態を考えれば
SJISをWindows-31Jにすることは妥当だと思うが。
SJISをShift_JISにしたところで安岡センセイ以外喜ばない。

354 :デフォルトの名無しさん:2011/08/04(木) 21:26:58.69
>>353
> SJISをWindows-31Jにする
> SJISをShift_JISに

どういう意味で言っているのか?
「SJIS」とは何なのだ?


355 :デフォルトの名無しさん:2011/08/04(木) 22:49:17.03
文字コード名に"SJIS"を指定されたときの動作をどうするかってことじゃねーの

356 :デフォルトの名無しさん:2011/08/04(木) 22:53:19.60
そんなの好きにしたらいいじゃん。

357 :デフォルトの名無しさん:2011/08/06(土) 00:15:01.41
もともとこのスレはUnicodeをUTF-16系のエンコーディングと勘違いした
人が立てたんだと思うが、MSだけでなくJavaもUnicode=UTF-16なんだっけ?

358 :デフォルトの名無しさん:2011/08/06(土) 00:38:20.18
>>354
>>351

359 :デフォルトの名無しさん:2011/08/07(日) 04:48:33.66
>>357
おJAVA様の"Unicode"は
 デコード時:ビッグエンディアンUTF-16、BOM許可
 エンコード時:ビッグエンディアンUTF-16、BOMあり
Windowsの"Unicode"は
 デコード時:リトルエンディアンUTF-16、BOM許可
 エンコード時:リトルエンディアンUTF-16、BOMあり

360 :デフォルトの名無しさん:2011/08/07(日) 14:43:57.06
>>359
>UTF-16、BOM許可
冗長な表現だな。UTF-16エンコーディングスキームは常にBOM許可なんだよ。
"UTF-16LE"→BOM禁止
"UTF-16BE"→BOM禁止
"UTF-16"→BOM許可
Javaの"Unicode"は先頭のBOMを読み飛ばすから"UTF-16"。
ちなみにJavaの"UTF-8"はBOMをNBSPと認識する統一性の無い仕様。

Javaも.NETも、文字コードに表現の曖昧さのあるものは
区別できるようならないものかな
 "UTF-8" →実行環境の規定のUTF-8表現
 "UTF-8:wBOM" →先頭にBOM必須
 "UTF-8:w/BOM "→先頭のFEFFはNBSP
 "UTF-8:autoBOM" → 先頭にFEFFがあればBOM  みたいな

361 :デフォルトの名無しさん:2011/08/07(日) 14:47:36.25
BOMって文字コードの一部なのか?

たとえば、「あいうえおかきくけこ」という文字列を
split関数で2つに分けたとき、「(BOM)あいうえお」「(BOM)かきくけこ」になるのか?
違うだろう?

BOMはマックバイナリみたいなもので
文字の一部ではなくファイル形式の一種だと思うんだが。

362 :デフォルトの名無しさん:2011/08/07(日) 14:55:48.67
BOMはデータストリームの一部で、
データストリームの先頭にあるとシグネチャと看做されます。

363 :デフォルトの名無しさん:2011/08/07(日) 15:02:40.62
ISO-2022のエスケープシーケンスを文字コードに含むぐらいには文字コードかな。

Unicode 6.0の16.8には「U+FEFF at the very beginning of a file or stream」とあるね。
ただの文字列がstreamに含まれるかと言えば普通の感覚ではNoだけど、
絶対ダメと断言するには表現が曖昧な気がする。
streamの定義をきかれたら「一連のcharacter」としか言いようが無いから。

364 :デフォルトの名無しさん:2011/08/07(日) 15:29:54.27
はっきりとin the unicode data streamと書いてる。

http://unicode.org/faq/utf_bom.html#bom1
Byte Order Mark (BOM) FAQ

Q: What is a BOM?

A: A byte order mark (BOM) consists of the character code U+FEFF at
the beginning of a data stream, where it can be used as a signature
defining the byte order and encoding form, primarily of unmarked
plaintext files. Under some higher level protocols, use of a BOM may
be mandatory (or prohibited) in the Unicode data stream defined in
that protocol. [AF]


365 :デフォルトの名無しさん:2011/08/07(日) 16:33:38.94
仕様でないものを仕様と勘違いする奴とか、常に正しい仕様が存在してくれていると思ってる奴とか、
プログラマやめた方がいいんじゃねーの

366 :デフォルトの名無しさん:2011/08/07(日) 23:35:37.51
文盲がいるな。
>はっきりとin the unicode data streamと書いてる
一つ前のレスも読めないのか

367 :デフォルトの名無しさん:2011/08/07(日) 23:49:21.22
unicode data streamってのが
何かよくわからないけど、
わざわざ書いてるってことは、
特別扱い、つまり通常の文字とは別扱いなんだな。

368 :デフォルトの名無しさん:2011/08/07(日) 23:52:20.46
プログラム言語で扱う文字型はencoding schemeでなくencoding formの単位なので
BOMになり得ない。
 encoding scheme: バイトデータ表現。BOMが付くことがある
 encoding form:「文字」単位の表現。BOMの概念無し。splitで扱うのはこっち

char型(UTF-16/32文字)のFEFFはZWNBSとみなさなければならない。
それをバイトデータにエンコードして初めてBOMが付く。

369 :デフォルトの名無しさん:2011/08/07(日) 23:55:16.42
BOMが途中にあったらどうなるの?
切り替わるの?

370 :デフォルトの名無しさん:2011/08/08(月) 00:01:50.41
文盲がいるな。
バイト配列をwchar_t(C)とかchar(Java)にデコードした時点でBOMは消えなきゃいけないの。
ちなみに途中にあらわれるものはBOMでなくU+FEFF文字として扱わなければならない

371 :デフォルトの名無しさん:2011/08/08(月) 01:07:46.83
途中で現れるのは後方互換性のために許されてるだけで、
本当は途中に現れちゃ駄目。

372 :デフォルトの名無しさん:2011/08/08(月) 01:17:08.95
deprecateでも許されてるってことは、書き込むプログラムはともかく
読み込むプログラムは処理しなきゃいけないってこった

373 :デフォルトの名無しさん:2011/08/13(土) 06:53:27.25
Windows7HP 64bit、MS-IME2010ですが、IMEで変換中の文字コードは何でしょうか?
質問は以下2点で、例えば、EUC-JPのテキストをエディタで編集中とします。

1.MS-IMEで変換中(この時の文字コードは?)
2.変換した文字を確定(変換中の文字コード → EUC-JPの変換は誰がどのタイミングで行っているのでしょうか?)

374 :デフォルトの名無しさん:2011/08/13(土) 10:46:33.19
>>373
1.ふつうはUTF-16
2.ふつうはテキストエディタの保存時

375 :デフォルトの名無しさん:2011/08/13(土) 10:57:29.48
>>373
普通はEUC-JPで表現できない文字も入力できて、保存時にエラーが出るよね。
ってことは編集中はEUC-JPじゃないってこった

376 :デフォルトの名無しさん:2011/08/13(土) 12:10:50.38
>>374-375
なるほど。
d

377 :デフォルトの名無しさん:2011/08/14(日) 01:13:50.65
他スレから来ました。
UNIXのshebangってBOMに対応できないの?

378 :デフォルトの名無しさん:2011/08/14(日) 01:17:53.45
カーネルがバイナリファイルの先頭で #! の存在をチェックしている
ところで、まずBOMの有無をチェックするように改造すれば可能かも。


379 :デフォルトの名無しさん:2011/08/14(日) 01:26:25.04
ファイルの先頭にFE FF 00 00を見つけたとき、
・UTF-16BEのU+FEFF, U+0000
・UTF-16のBOM, U+0000
・UTF-32のBOM
のいずれであるかの見分けはつくのでしょうか

380 :デフォルトの名無しさん:2011/08/14(日) 01:53:40.23
>>379
そのバイトオーダーでは迷う要素がどこにもないのだが…

381 :デフォルトの名無しさん:2011/08/14(日) 04:44:20.21
先頭がBOMかU+feffかは、
エンコードスキームがutf-16なのかutf-16beなのか
の情報が必要。
つまりエンコードスキーム情報無しに読むことは不可

382 :デフォルトの名無しさん:2011/08/14(日) 04:45:13.50
>>381
そのバイトオーダーでは迷う要素がどこにもないのだが…

383 :デフォルトの名無しさん:2011/08/14(日) 04:57:36.54
>>381
ならff fe 00 00ならどうするのよ?

384 :デフォルトの名無しさん:2011/08/15(月) 00:39:15.78
>>382
FE FF 00 00ってのは例が悪くて>>383の間違いなんだろうけど、
「FE FF」にしたってBOMなのかU+FEFFなのか区別付かないよね?

385 :デフォルトの名無しさん:2011/08/15(月) 00:50:44.72
Unicodeでは先頭のU+FEFFは常にBOMと解釈すべし、というルールだから、BOMであることに疑問はない。
ただしUTF-16LEによるBOM + U+0000という解釈とUTF-32LEによるBOMという解釈のどちらをとるべきかは
一意に決定する方法がない、という意味で>>383の指摘は正しいものだと思う。

386 :デフォルトの名無しさん:2011/08/15(月) 01:05:17.86
つ ttp://stackoverflow.com/questions/1929962/unicode-bom-for-utf-16le-vs-utf32-le
バイトオーダマークであってエンコーディングを示すものじゃないから諦めろってさ

387 :デフォルトの名無しさん:2011/08/15(月) 02:30:12.19
>>385
>先頭のU+FEFFは常にBOMと解釈すべし
んなこたーない。
Unicode 6.0.0「3.10 Unicode Encoding Schemes」D96
『In UTF-16BE, an initial byte sequence <FE FF> is interpreted as U+FEFF zero width no-break space』
D98
『In the UTF-16 encoding scheme, an initial byte sequence corresponding to U+FEFF is interpreted as a byte order mark』

UTF-16BEなら先頭のFE FFはU+FEFF。UTF-16なら先頭のFE FFはBOM。データから区別は出来ない。

388 :デフォルトの名無しさん:2011/08/18(木) 00:42:00.98
先頭の<FE FF>がBOMなのかfeff文字なのか判断できないなんて、
BOM考えた奴、ばかなの?

389 :デフォルトの名無しさん:2011/08/18(木) 07:30:27.15
Unicode自体が馬鹿の塊なのは欧米人以外なら即分かると思うが

390 :デフォルトの名無しさん:2011/08/18(木) 22:29:40.94
>>389
どの辺が馬鹿の塊なのか解説よろしく

391 :デフォルトの名無しさん:2011/08/19(金) 15:06:30.40
香具師らの認識している「表意文字」とはアイコンのことだからなぁ

392 :デフォルトの名無しさん:2011/08/19(金) 20:08:38.83
だから今は漢字のことを表語文字と呼んだりするね

393 :デフォルトの名無しさん:2011/08/28(日) 23:49:09.53
>>390
当初16 bitで収まると考えていたことなんか、素人の俺にもすぐに指摘できる。

394 :デフォルトの名無しさん:2011/08/29(月) 01:00:05.33
>>393
かつてそう考えたミスは事実だが、今はコードポイントが
U+10FFFFまでに修正され、UTF-32とUTF-8は無理の無い形で
対応出来てるだろ。
「Unicode自体が馬鹿の塊」の理由は説明出来ないのかな?

395 :デフォルトの名無しさん:2011/08/29(月) 01:32:35.26
>>389でも>>393でもないが
正規化すると互換漢字が統一漢字になるところは時々キレそうになる

自分は異体字セレクタでやればいいんだけど、他人に渡す時に対応エディタがないから揉める
あと他人から受け取ったファイルに互換漢字が大量に含まれてたりするともうね・・・

396 :デフォルトの名無しさん:2011/08/29(月) 01:43:05.53
>>394
無理はあるだろ
16bitとか考えなきゃ、最初っからCJKなんて無謀なこともしないで済んだし、そうすればコード変換の
コストも大幅に軽減されたし、i18n対応のソフトがフォントでつまずくようなことも起きなかったし
他にもさまざまな問題が事前にことごとく指摘されてたのに強行して、結局無理でした、だからな

397 :デフォルトの名無しさん:2011/08/29(月) 02:27:50.75
>>394
> かつてそう考えたミスは事実だが、今はコードポイントが
> U+10FFFFまでに修正され、UTF-32とUTF-8は無理の無い形で
> 対応出来てるだろ。

その代償として、Unicodeは複雑化してしまった。
UTF-32、UTF-16、サロゲートペア、UTF-8、なぜ一つに統一しなかったのか。
最初から世の中の文字はすべて32bitで扱うとなっていれば、プログラムも簡単だっただろうに。
OS、言語、すべてが同じUTF-32を使う。さっさと移行しておけばよかったのに。

第一の失敗UTF-16、これがあったせいでWindows、Mac、JavaはUTF-16を
標準のものとしてサポートしてしまった。今更UTF-32にはやすやすと移行できないだろう。
おかげでサロゲートペア対応とか変なモノが後で導入された。

第二の失敗UTF-8、これのせいでUnix系はASCII文字と互換性を保てるようになってしまった。
そのせいで、UTF-8はなかなか消せなくなっただろう。

もう一文字がすべて同じ32bitの世界は絶望的だよ。

398 :デフォルトの名無しさん:2011/08/29(月) 03:31:52.42
>もう一文字がすべて同じ32bitの世界は絶望的だよ。
いや、それは結合文字ある時点で絶望的だろ、と突っ込んでみる
UTF-16がクソなのは同意だがUTF-8は需要多かったからどの道生まれただろうし

399 :デフォルトの名無しさん:2011/08/29(月) 08:01:59.08
>>395
自分の処理目的に適した基準でnormalizeすれば良いよ。decompositionだけ無くすとかね。
外に出す時に、必要なら改めてUnicodeの規格に沿ってnormalizeし直せば良い。
OSXだと互換漢字は除外してnormalizeするAPIとかも用意されてる。

400 :デフォルトの名無しさん:2011/08/29(月) 08:11:50.68
ぜんぜんCJK非分離の解決になっていない件

401 :デフォルトの名無しさん:2011/08/29(月) 11:17:14.00
漢字は本当に、普通に見た目が違う字が出るもんなぁ

402 :デフォルトの名無しさん:2011/08/29(月) 11:41:22.44
>>399
要件にわざわざ『Unicode正規化(C方式)』と入ってなければ
或いは、送ったファイルが何故か相手側で正規化される、そんな可能性が無視できるなら
Apple独自規格だろうがなんだろうが喜んで使おう
ただ、その場合はそもそも正規化する必要がないんだけど

403 :デフォルトの名無しさん:2011/08/29(月) 11:55:21.11
>>399
>外に出す時に、必要なら改めてUnicodeの規格に沿ってnormalizeし直せば良い。

必要だからやる→>>395
自分勝手にnormalizeしたところで何の解決にもならん罠

404 :デフォルトの名無しさん:2011/08/30(火) 22:01:52.91
正規化についても、みんなで仲良く正規化しないと、
いろいろ面倒なんだよなあ。

例えば、外部からきたUSBメモリ上のパス名まで正規化されているかどうかとか。
内部的には正規化してから処理するとしても、
再度書きこむ時に正規化すべきか、それとも元のままにしておくか、
元のままにしておく場合、保存しておかなければならないし。

>>397
> UTF-32、UTF-16、サロゲートペア、UTF-8、なぜ一つに統一しなかったのか。

ちょっとこの列挙の仕方はどうかと。
言わんとしていることは分からないでもないが、
最初から32bitじゃまとまらなかっただろう。

405 :デフォルトの名無しさん:2011/08/31(水) 10:41:56.92
受け入れられるためには理想の仕様は諦めて妥協しないといけない、
かといって妥協しまくりのダメ仕様でも誰も使わない。

その結果を一見して「迷走」と決めつけることは誰にもできるw

406 :デフォルトの名無しさん:2011/08/31(水) 11:50:16.72
16bitは必要な妥協だったとは思わんがな

407 :デフォルトの名無しさん:2011/09/01(木) 14:44:18.72
根拠は?
どうなっていたのと思うの?

408 :デフォルトの名無しさん:2011/09/01(木) 19:30:44.11
必要な妥協だった、迷走ではない、と開き直るほうが簡単だよね

でも互換漢字の中に統合漢字を適当に混ぜるとか、何も考えてないのは丸わかり
規格作ってるやつらは実装しなくていいんだから楽だよなあ

409 :デフォルトの名無しさん:2011/09/02(金) 12:27:42.35
必要な妥協なんてものはそもそも無い。
ないものを攻撃している奴は馬鹿。
仕方ない妥協があるだけ。

410 :デフォルトの名無しさん:2011/09/02(金) 12:47:09.80
仕方も工夫も色々あったけど
馬鹿が都合悪い部分放置でそのままreleaseしたんだろ
なんで「仕方なかった」なんて嘘が通ると思うのか
まだ「必要だった」って言い訳のほうがマシだよ

411 :デフォルトの名無しさん:2011/09/02(金) 13:14:29.07
>>409
>>408だけど、妥協そのものを攻撃してるんじゃなくて
>>399みたいな開き直りについて言ってるだけだから
必要とか仕方ないとかそのへんの細かいニュアンスは俺の言ってる本筋とは関係ないから

412 :デフォルトの名無しさん:2011/09/02(金) 13:15:49.10
安価ミスすまん
>>399じゃなくて>>405

413 :デフォルトの名無しさん:2011/09/02(金) 15:51:45.81
経緯をよく知らないけど、中国/日本の当局者に6万語で収まるのかをきちんと聞いたのか?
単に憶測で6万語で収まると判断したのか?

414 :デフォルトの名無しさん:2011/09/02(金) 18:11:44.98
Unicodeは最初からHan Unificationありき。
Xerox(とApple)でHan Unificationが研究されたから、
Unicodeが誕生のきっかけが出来た。

日本ではEmacsやArenaの多言語化を、
ISO 2022ベースでやっていた頃。

415 :デフォルトの名無しさん:2011/09/04(日) 05:22:06.88
>>414
最初から、というか、最初だけ。
誕生のきっかけであって、もう今ではとてもじゃないが、機能してるとは言えん

同じ字体が互換漢字・互換漢字両方で表せるのがまずおかしいのに
さらにKS X 1001とかいう規格から、同じ字体で読みだけが違う互換漢字も追加されて
統一漢字+異体字セレクタで統一漢字でも字体を変更できるようになって
と思ったら異体字セレクタに汎用電子がAdobeと同じ字体を重複登録しはじめて
トドメに、異なった統一漢字同士でも異体字セレクタによっては同じ字体になるんだから……

416 :デフォルトの名無しさん:2011/09/04(日) 17:42:35.37
>>415
> 機能してるとは言えん

はあ?

417 :デフォルトの名無しさん:2011/09/04(日) 19:33:51.55
うん、そうだね

418 :デフォルトの名無しさん:2011/09/05(月) 04:04:33.03
その通りだ

419 :デフォルトの名無しさん:2011/09/05(月) 22:01:45.96
>>294
アンダースコアの有る無しで意味が違う、っていうことの方が狂気の沙汰だと思う

420 :デフォルトの名無しさん:2011/09/05(月) 22:32:53.25
狂気はお前だ。

421 :デフォルトの名無しさん:2011/09/06(火) 01:33:22.31
アンスコあるのと無いのでは全然違うだろ。

422 :デフォルトの名無しさん:2011/09/06(火) 02:42:07.11
アンダースコートは無い方が良い

423 :デフォルトの名無しさん:2011/09/10(土) 15:51:03.10
>>413
まずいよこれ無理だよ、ってのは少なくとも日本の機関や企業から結構発信してたはず

424 :デフォルトの名無しさん:2011/09/10(土) 18:02:22.29
収まらないのはUnicodeが開発される前からわかっていた。
収めるためのHan Unificationが適切かどうかが議論になった。

>>414
> Unicodeは最初からHan Unificationありき。
> Xerox(とApple)でHan Unificationが研究されたから、
> Unicodeが誕生のきっかけが出来た。


425 :デフォルトの名無しさん:2011/09/10(土) 18:18:33.20
で、不適切だったと

426 :デフォルトの名無しさん:2011/09/10(土) 23:32:57.71
まだ天安門の頃か

427 :デフォルトの名無しさん:2011/11/08(火) 00:10:00.22
>>423
それでも説得して変えさせることは出来なかった。
かといって代替を用意して
それを普及させるだけの力もなかった。

ガラパゴス規格を作っては国内オンリーで威張る
だけの親方日の丸体質では最初から無理でした。

せめて今後は上手く捻じ込む交渉術を学んでいただきたいものです。
無理か。無能なJIS関係者や学者に金撒くんじゃなくて
最初から、ロビイストに金を突っ込むのが正しいな。


428 :デフォルトの名無しさん:2011/11/08(火) 00:46:24.54
今更お金撒いてももう無理なんじゃない?
文字コードには詳しくないんだけど
プログラマのための文字コード入門読む限りでは
今後もシフトJISを使うのが一番安全という気がひしひしとしてくる。
実際、Windowsも内部はUnicodeだけどインタフェースはNLSを通してシフトJISを使うわけだし。

429 :デフォルトの名無しさん:2011/11/08(火) 00:51:01.90
.Netでもそんな扱いだっけ?

430 :デフォルトの名無しさん:2011/11/08(火) 01:05:01.98
シフトJISってWindows以外じゃ使わないんだけどなあ…

431 :デフォルトの名無しさん:2011/11/08(火) 01:09:02.77
シフトJISって恥ずかしいよね

432 :デフォルトの名無しさん:2011/11/08(火) 01:21:12.38
Windows使いだが、業務用のバッチファイル以外でシフトJISなんか使わねーぞ。
ソースコードもHTMLもデータベースもテキストファイルも全部ウニコードにしてる。
ただメールだけはISO-2022-JPでないと文字化けする糞アプリが存在するので
なかなかUTF-8に移行できない。

433 :デフォルトの名無しさん:2011/11/08(火) 01:24:56.95
Visual C++がコードページにうにコードをセットできないのがすべての敗因。
コマンドプロンプトも未だにうにコード使えないし、ファイルシステム事態はうにコードを使えても
ファイル名をやり取りするAPIの中にうにコード版が存在しないものが…

WindowsだけシフトJISで。

434 :デフォルトの名無しさん:2011/11/08(火) 01:32:12.35
>コマンドプロンプトも未だにうにコード使えないし

cp 65001

435 :デフォルトの名無しさん:2011/11/08(火) 01:39:37.21
>>433
ttp://yukarin.wiki.fc2.com/wiki/Tips


436 :デフォルトの名無しさん:2011/11/08(火) 02:07:10.34
よし、コマンドプロンプトのうにコード問題は解決したぞ
あとはVC++がlocaleにうにコードをセットできるようになってくれれば解決だ。

437 :デフォルトの名無しさん:2011/11/08(火) 02:07:27.82
ほー。
chcp 65001すると今まで動いてた以下のコードが正しく動かないんだがどうすればいい?
 _tsetlocale(LC_CTYPE, _T(""));
 _tprintf(_T("マンコ\n"));

438 :デフォルトの名無しさん:2011/11/08(火) 02:56:46.07
windows のシステムロケールを変更して再起動

439 :デフォルトの名無しさん:2011/11/08(火) 08:53:05.57
mendoxer!

440 :デフォルトの名無しさん:2011/11/17(木) 03:47:25.53
囗囘囙囚四囜囝回囟因囡团団囤囥囦囧囨囩囪囫囬园囮囯困囱囲図围囵囶囷囸囹固囻囼国图
囿圀圁圂圃圄圅圆圇圈圉圊國圌圍圎圏圐圑園圓圔圕圖圗團圙圚圛圜圝圞

441 :デフォルトの名無しさん:2011/11/19(土) 21:17:47.39
シフトJISはWindowsだけってことはないと思うぞ。
むしろ自分の周りだとWindows以外のシステムはいろいろあるけど
情報交換はシフトJISでまず問題がない。ユニコードにお目にかかる
ことのほうが滅多にない。

442 :デフォルトの名無しさん:2011/11/20(日) 04:14:11.87
>>441
> 情報交換はシフトJISでまず問題がない。

老害しねや


443 :デフォルトの名無しさん:2011/11/20(日) 11:36:54.27
最近は中国人の顧客とかも増えてるからUnicode対応じゃねーと死ぬわ俺んとこは

444 :デフォルトの名無しさん:2011/11/20(日) 12:29:01.95
異体字セレクタと互換漢字どっち使うにしてもUnicodeは地獄

445 :デフォルトの名無しさん:2011/11/20(日) 20:58:49.78
互換漢字・意自体セレクタはUnicodeよりシフトジスの方が優れていると?

446 :デフォルトの名無しさん:2011/11/20(日) 21:12:01.10
中国の客とか、その時点で死だろ

447 :デフォルトの名無しさん:2011/11/20(日) 21:17:11.83
異体字があっても意味を区別できるヤツなんて
1000人に1も居ないんだから、異体字なんて駆逐してしまえ。
国も時代に合わせろよ。

448 :デフォルトの名無しさん:2011/11/20(日) 22:39:49.13
全国の渡邊さんと渡邉さんがアップをはじめたようです

449 :デフォルトの名無しさん:2011/11/21(月) 02:15:21.62
源規格分離のUnicodeに移行すれば、メリットは多数あってもデメリットは無いだろ。

互換漢字とか話をすり替えてユニコード批判するしかないとは。
いつまで20世紀に生きてるんだよ

450 :デフォルトの名無しさん:2011/11/21(月) 13:52:38.60
>>444だけど、>>441書いたのは俺じゃないからな
当然だけどShift_JISが使えない規格ってのが大前提だが

>>449みたいなやつも程度としては>>441と同レベルだわ
デメリットないとか本気で言ってんならな
そりゃ、ソフトウェアを源規格分離のUnicodeで作るだけなら楽だけど
使うやつはUnicodeのことなんてなにも分かっちゃいないんだぞ
使われてるうちにデータがどういう惨状になるか分かってんのか……

451 :デフォルトの名無しさん:2011/11/21(月) 15:03:02.41
>>449 は全ての問題が解決した22世紀から来た人なんだろう、多分

452 :デフォルトの名無しさん:2011/11/23(水) 20:24:22.16
>>449
合成漢字とか、マイナーな漢字で問題が有るっちゃあるらしい。
だから、PDFに複数のエンコーディングを同時に使いたいという需要が
あったりする。

453 :デフォルトの名無しさん:2011/11/24(木) 08:26:11.02
原規格分離でも、別規格の文字が同じコードポイントという致命的欠点を「前世紀に批判」と誤魔化してみても、
その致命的欠点が前世紀からそのままであるという事実は変わらないけどなw

454 :デフォルトの名無しさん:2011/11/24(木) 20:20:13.17
>453
それは別に致命的な欠点ではないだろう
統一漢字をせっかくまとめたのに、互換漢字を作ったのが失敗なんだよ
最初から異体字はセレクタでよかった

455 :デフォルトの名無しさん:2011/11/24(木) 20:50:09.36
使い物にならないままでよかった、とw

456 :デフォルトの名無しさん:2011/11/24(木) 20:56:22.92
ハァ?

457 :デフォルトの名無しさん:2011/11/26(土) 11:51:28.97
痛い字セレクたん

112 KB
■ このスレッドは過去ログ倉庫に格納されています

★スマホ版★ 掲示板に戻る 全部 前100 次100 最新50

read.cgi ver 05.02.02 2014/06/23 Mango Mangüé ★
FOX ★ DSO(Dynamic Shared Object)