まず、「自然言語処理」と「Ｗｅｂ２．０」から次を考えてみました。
■世界規模の情報処理システム
日本でもブログ登録者数が８００万人※？を超え、フリーの百科事典
ウィキペディアは刻々と成長、Ｗｅｂの主導者がエンジニアから普通の
人々に移り、それらの膨大なＷｅｂページから検索エンジンのクローラ
が日夜情報を収集しています。
近い将来、検索エンジンに「自然言語処理」の機能が組み合わさると、
世界規模の巨大な情報処理システムが構築されます。
対象となるデータは、メディアサイト、ウィキペディア、ブログ．．
（グローバルで１００億ページ？）
※総務省の報道資料（４月１３日）では、ブログ登録者数８６８万人
（ブログ登録者数は、５３社の登録者数を単純合計）
■検索エンジン大手の動向
検索結果に和訳機能を付けるようにしていたり、マイクロソフトはサポ
ート技術情報の機械翻訳稼動中ですが、
・ｇｏｏは、「日本語の文書をコンピュータに理解させる研究．．」
と、８月２０日の朝日新聞の記事から
・Ｇｏｏｇｌｅは、ソフトエンジニア募集のページで、望ましい経験に
自然言語処理（日本語処理）という記載がありました。
■世界規模の情報処理システム
日本でもブログ登録者数が８００万人※？を超え、フリーの百科事典
ウィキペディアは刻々と成長、Ｗｅｂの主導者がエンジニアから普通の
人々に移り、それらの膨大なＷｅｂページから検索エンジンのクローラ
が日夜情報を収集しています。
近い将来、検索エンジンに「自然言語処理」の機能が組み合わさると、
世界規模の巨大な情報処理システムが構築されます。
対象となるデータは、メディアサイト、ウィキペディア、ブログ．．
（グローバルで１００億ページ？）
※総務省の報道資料（４月１３日）では、ブログ登録者数８６８万人
（ブログ登録者数は、５３社の登録者数を単純合計）
■検索エンジン大手の動向
検索結果に和訳機能を付けるようにしていたり、マイクロソフトはサポ
ート技術情報の機械翻訳稼動中ですが、
・ｇｏｏは、「日本語の文書をコンピュータに理解させる研究．．」
と、８月２０日の朝日新聞の記事から
・Ｇｏｏｇｌｅは、ソフトエンジニア募集のページで、望ましい経験に
自然言語処理（日本語処理）という記載がありました。
2006.08.21 20:16 | コンピューティングの未来 |
トラックバック(-) | コメント(0) |
■自然言語処理に関する予測（提案？願望？勘？）
機械翻訳の場合、例えば、極端なケースとして「ことわざ」や「俳句」
などは、５Ｗ１Ｈの定型パターンから外れ、大事な主語や助詞などが
割愛されることがあるため、思うように変換できません。
また、正確に翻訳されているのかも良くわかりません。
ですから、ひとつのアプローチとして、一度に高度な変換を行うのでは
なくソースとなる自然言語の精度を良くするための補完機能も検討して
いるのかも知れません。
■［補完記号］（暫定表現）について
［補完記号］とは、ソースとなる自然言語が、表現情報として欠落又は
曖昧な部分がなくなるようにするためにの追加表現記号や要素。
・例：「すこしはなれた？」
「少し離れた？」のつもりで書いても、コンピュータは「少しは慣れ
た？」とも解釈することができますので、その際はメッセージを表示し、
表現方法を修正するか補完するように促します。
漢字で「少し離れた？」と修正しないのであれば、
「すこし<はなれた→Verb>？」というようなイメージで補完。
（もちろん「<」「>」「→」等の単純な記号は使えませんが）
■基本的なアプローチ
�仝曲諺�択（原文作成）
��不足する表現確認及び修正又は補完追加処理
例えば、主語や動詞、何を指すのかが曖昧と判定された場合や、
他言語に変換することを考慮した場合に情報が不足すると
システムが判定した場合、その原文を修正するか、
原文を修正しないで補足情報として［補完記号］を埋め込むように
指示をする。
��最終確認処理
［補完記号］が埋め込まれたソースから精度の高い日本語に変換し、
その内容良い内容になっていればＯｋ
■生成された［補完記号］を含むソース
・表現情報として欠落又は曖昧な部分がない精度の高い内容
・いろいろな言語に変換しやすい。
（コンピュータで処理しやすいようになっているため）
■達成される又は関連する機能
→ 不完全な日本語から精度が高い日本語にナビゲートする機能
（自然言語生成機能）
→ 複数のドキュメントの内容を時間を軸として整理、要約する機能
（自然言語解析・要約機能）
→ 精度の高い翻訳
（翻訳機能）
→ その他、音声認識機能、質問応答機能など
■課題
［補完記号］のフォーマットの取り決め方？
そもそも「文章」はいい加減な場合があるかと思います。
（自分が書く「文章」を見て思います。）
尚、私はその道の専門家ではないため、
機械翻訳や自然言語処理の方法論の最適な考え方を知らないだけかも
知れません。（トンチンカンかも？）
以上、何かの参考になれば幸いです。
機械翻訳の場合、例えば、極端なケースとして「ことわざ」や「俳句」
などは、５Ｗ１Ｈの定型パターンから外れ、大事な主語や助詞などが
割愛されることがあるため、思うように変換できません。
また、正確に翻訳されているのかも良くわかりません。
ですから、ひとつのアプローチとして、一度に高度な変換を行うのでは
なくソースとなる自然言語の精度を良くするための補完機能も検討して
いるのかも知れません。
■［補完記号］（暫定表現）について
［補完記号］とは、ソースとなる自然言語が、表現情報として欠落又は
曖昧な部分がなくなるようにするためにの追加表現記号や要素。
・例：「すこしはなれた？」
「少し離れた？」のつもりで書いても、コンピュータは「少しは慣れ
た？」とも解釈することができますので、その際はメッセージを表示し、
表現方法を修正するか補完するように促します。
漢字で「少し離れた？」と修正しないのであれば、
「すこし<はなれた→Verb>？」というようなイメージで補完。
（もちろん「<」「>」「→」等の単純な記号は使えませんが）
■基本的なアプローチ
�仝曲諺�択（原文作成）
��不足する表現確認及び修正又は補完追加処理
例えば、主語や動詞、何を指すのかが曖昧と判定された場合や、
他言語に変換することを考慮した場合に情報が不足すると
システムが判定した場合、その原文を修正するか、
原文を修正しないで補足情報として［補完記号］を埋め込むように
指示をする。
��最終確認処理
［補完記号］が埋め込まれたソースから精度の高い日本語に変換し、
その内容良い内容になっていればＯｋ
■生成された［補完記号］を含むソース
・表現情報として欠落又は曖昧な部分がない精度の高い内容
・いろいろな言語に変換しやすい。
（コンピュータで処理しやすいようになっているため）
■達成される又は関連する機能
→ 不完全な日本語から精度が高い日本語にナビゲートする機能
（自然言語生成機能）
→ 複数のドキュメントの内容を時間を軸として整理、要約する機能
（自然言語解析・要約機能）
→ 精度の高い翻訳
（翻訳機能）
→ その他、音声認識機能、質問応答機能など
■課題
［補完記号］のフォーマットの取り決め方？
そもそも「文章」はいい加減な場合があるかと思います。
（自分が書く「文章」を見て思います。）
尚、私はその道の専門家ではないため、
機械翻訳や自然言語処理の方法論の最適な考え方を知らないだけかも
知れません。（トンチンカンかも？）
以上、何かの参考になれば幸いです。
2006.08.21 18:10 | コンピューティングの未来 |
トラックバック(-) | コメント(0) |
プロフィール
