漏刻とディープラーニング

　2023-03-29 「『遠西觀象圖説』と「円環年」」

|　今年の『日本暦学会』会報に載せていただいた

昨年の総会での講演で漏刻が採り上げられたため、今年の『日本暦学会』
会報には漏刻関連の論考が３つも載っていました。

そこで直接の関係はないのですが少し標題のようなことを考えました。

そもそも水槽を多段階に連結して一様な時を計るという漏刻の考え方は、
最初の段階で存在した水流の揺らぎ(ノイズ)が多段を経ることによって
指数関数的に減衰して一様な水流が確保できるということがポイントです。

ディープラーニングにも似たところがある。画像を多段の回路で処理
すると猫か否かが判断できるというのは、多段を経るごとに抽象化が
進むということで、抽象化というのは小異を捨てて大同につく、つまり
余分な情報を捨てて本質を抜き出すことだからです。

しかし、自然言語処理の場合には課題があった。

>海老を食ってた岸田を救った赤い袖の漁師
https://twitter.com/nakamurakihiro/status/1647437278443368451
>頭が赤い魚を食べた猫
https://twitter.com/nkmr_aki/status/381428185885200384

重要な係り受けが距離の離れた部分どうしに存在することがある。
多段を経て指数関数的に関係性が減衰すると、こういったものを
捉えることができない。

そこで RNN など様々な工夫がなされてきた。
…というのが５年くらい前までのこと。

そこに新たに現れたのが Transformer

　2018-11-07 BERT
　2020-12-31 Transformer

|>自然言語でSelf-AttentionがRNNをさようなら
…
|>深層学習界の大前提Transformerの論文解説！
|https://qiita.com/omiita/items/07e69aef6c156d23c538

最近もこんな↓記事を拾いました。

>ChatGPTにも使われる機械学習モデル「Transformer」が自然な文章を生成する仕組みとは？
https://gigazine.net/news/20230423-transformer-model/

>The Practical Guides for Large Language Models
https://github.com/Mooler0410/LLMsPracticalGuide

…というような切り口でストーリーをまとめることができるかな。

[関連記事] 2022-04-28 「合併」と「増加」