今日は Transformer 論文「Attention is All You Need」の発表から 6 周年です！
興味深い事実：
⭐️ Transformer は注意機構を創造したわけではありませんが、それを極限まで推し進めました。注意機構に関する最初の論文は、3 年前の 2014 年に発表されましたが、タイトルは目立ちませんでした。「ニューラル機械翻訳のためのアラインメントと翻訳の共同学習による実現」というもので、Yoshua Bengio の研究室から発表されました。この論文では、RNN と「コンテキストベクトル」（つまり、注意機構）を組み合わせています。多くの人がこの論文を知らないかもしれませんが、それは自然言語処理の分野で最も重要なマイルストーンの一つであり、2.9 万回引用されています（一方、Transformer は 7.7 万回引用されています）。
⭐️ Transformer と最初の注意機構の論文は、一般的なシーケンス計算機については言及していません。それどころか、それらは狭く特定の問題、すなわち機械翻訳を解決するために構想されました。驚くべきことに、AGI（つまり将来の人工知能一般的な知能）は謙虚な Google 翻訳に遡ることができます。
⭐️ Transformer は 2017 年に世界的なトップの人工知能会議 NeurIPS で発表されました。しかし、それは口頭発表も受けず、賞も受けませんでした。その年の NeurIPS では 3 つのベストペーパーがあり、現在までに合計 529 回引用されています。
転載元 ->
https://twitter.com/drjimfan/status/1668287791200108544?s=46&t=J5tuuFL7Z3qsWetu4lBIXg