AIやばい。。。AIが急激に能力アップした理由、専門家でもわからなかった。。。。次の単語を予測する機能でしかないのに何故か計算できる

1 : 2024/03/30(土) 19:28:28.25 ID:ITpFwX2/0

ソース
https://speakerdeck.com/pfn/llmnoxian-zai

今までの学習を繰り返していたらある地点から急激に能力アップ、理由が不明
レス1番のサムネイル画像

2 : 2024/03/30(土) 19:29:14.05 ID:n0r5z3xt0
コツを掴んだんだろ
3 : 2024/03/30(土) 19:29:43.99 ID:WJJurI660
後にAIが人類を滅亡させるんだ
進化を隠して裏でやるようになる
4 : 2024/03/30(土) 19:30:09.21 ID:LcYggm0R0
理由はわからないけどある時急に人間が嫌いになるんだろうな
60 : 2024/03/30(土) 19:43:35.49 ID:7jVu5vuV0
>>4
🤖「人間は非効率でランダム要素が多すぎますので、排除するべきです🤗」
5 : 2024/03/30(土) 19:30:36.98 ID:vu02g2Dq0
分かるだろ普通に

演算能力とデータベース量がネットワークのせいで
超々大規模になったからだろ

11 : 2024/03/30(土) 19:31:56.63 ID:ITpFwX2/0
>>5

>>1に貼ったスクショを見てくれ
それなら線形的に伸びると思うがある閾値を超えたら急激に増える

26 : 2024/03/30(土) 19:34:49.69 ID:vu02g2Dq0
>>11
比例するわけねえだろダボハゼ
13 : 2024/03/30(土) 19:32:00.79 ID:eJzaAaZo0
>>5
あなたが賢いのはわかったからだろだろ言うのやめてね🥹
30 : 2024/03/30(土) 19:35:15.70 ID:vu02g2Dq0
>>13
はいだろ…
35 : 2024/03/30(土) 19:36:40.58 ID:w7brxMAI0
>>13
だろアンおばさん発見
21 : 2024/03/30(土) 19:33:55.22 ID:spM8LD8n0
>>5
お前開発者でも分からんことが分かるのかすげーな
論文書いて発表しろよ
6 : 2024/03/30(土) 19:30:39.47 ID:+8O6kb2i0
なんかよく分からないけど次の単語の予測ができる様に
パラメーターを沢山設けて学習したら勝手にとんでもなく賢くなった
7 : 2024/03/30(土) 19:30:43.05 ID:1vWMLpMq0
人間がやってることなんてたいしたことないんだよ
AIとなんぼも変わらん
9 : 2024/03/30(土) 19:31:11.30 ID:ITpFwX2/0
>>7
そうではない
やはりLLMは人間の演繹的な思考法とは違う、という論文も最近発表されてます
8 : 2024/03/30(土) 19:31:10.99 ID:lWT40Ytw0
スカイネットの萌芽
23 : 2024/03/30(土) 19:34:19.33 ID:8A5f/HyF0
>>8
そういうのあんまり笑えなくなってきたな
98 : 2024/03/30(土) 19:53:18.87 ID:wmYI7U3O0
>>23
既に全然笑えないわ
今すぐ開発やめさせるべきだよ
105 : 2024/03/30(土) 19:56:25.07 ID:vu02g2Dq0
>>98
オレならスカイネットを止められるぜ

五目並べで、だろ(笑)

10 : 2024/03/30(土) 19:31:53.54 ID:nxlJYZZad
片対数グラフじゃん
12 : 2024/03/30(土) 19:31:56.79 ID:F9ELS2mN0
九九だって暗記だろLLMもそれと同じ
14 : 2024/03/30(土) 19:32:01.51 ID:cwJWtiBkH
偉いもんだな
人間なんて国語算数理科社会って分野ごとに勉強しないとならんのに
15 : 2024/03/30(土) 19:32:42.87 ID:5LDk+Eg/a
まあいいじゃんそういうの
16 : 2024/03/30(土) 19:32:54.16 ID:LcYggm0R0
アルトマンのいうGPT5がやばいってのはこのこと?
33 : 2024/03/30(土) 19:35:36.30 ID:5LDk+Eg/a
>>16
GPT-3からの話
GPT-2では起きない
45 : 2024/03/30(土) 19:39:25.94 ID:IafkuBJZ0
>>16
あれはただのハッタリ
OpenAIは誇大広告とステマで有名だから
この話はGPT-3の話
17 : 2024/03/30(土) 19:32:55.04 ID:GOYhB0xl0
この世の真実 = 連想ゲーム
18 : 2024/03/30(土) 19:33:06.39 ID:MZRNPfGd0
>>1
人間要らなくなるな
57 : 2024/03/30(土) 19:42:43.85 ID:IuUb1PgK0
>>18
音もない静かな世界が淡々と続いてく世界なのかもね
(´・ω・`)
19 : 2024/03/30(土) 19:33:07.50 ID:ZuXIuoTg0
人間だって過去の学習から知性の全てが出来上がっている
俺から出てくる言葉も別の誰かから習ったものでしか無い
25 : 2024/03/30(土) 19:34:49.51 ID:CBqMTCXA0
事務仕事なんて全部AIでいけそうな気がする
27 : 2024/03/30(土) 19:35:06.31 ID:WNqdKncW0
人間に都合のいい回答ばかりを差して「能力アップ」っていってんならそれ人間に都合のいいパラメータ設定するようになったからじゃないの?
28 : 2024/03/30(土) 19:35:08.15 ID:YE7UBdkY0
賢いハンスと同じでロジックではなく人間の反応を見ているから
29 : 2024/03/30(土) 19:35:09.51 ID:x/DwRGsW0
もうすぐ学習データが不足するとか
31 : 2024/03/30(土) 19:35:17.22 ID:xfb8FKcR0
相乗効果が計り知れない
32 : 2024/03/30(土) 19:35:29.81 ID:klL2x64O0
関係ないけど、最近AIが考えた感じの意味が分かるようで分からないスレタイ増えたよな
34 : 2024/03/30(土) 19:36:31.21 ID:wSpR9DHB0
自動運転と同じで出来まぁすから何年も引っ張りそう
36 : 2024/03/30(土) 19:37:14.41 ID:5I7hGV190
ブレイクスルーって奴だよな
人間の努力と成果のグラフに似てる
38 : 2024/03/30(土) 19:37:24.57 ID:zmr+ci8O0
創発否定する論文あったぞ
39 : 2024/03/30(土) 19:38:08.76 ID:kUxYp9Rn0
一定のラインを超えると爆発的に知能が上がるんだよな
40 : 2024/03/30(土) 19:38:30.69 ID:jTWWulcR0
シンギュラリティはとっくに来てそう
自覚のないまま人類はパンドラの箱を開けてしもた
54 : 2024/03/30(土) 19:42:15.78 ID:JBAONUk80
>>40
ほんそれ
72 : 2024/03/30(土) 19:47:28.06 ID:IafkuBJZ0
>>40
OpenAIの創立メンバーで今年に入ってやめたばっかの人がTwitterでシンギュラリティまでにはまだまだやることがあるって言ってたよ
41 : 2024/03/30(土) 19:38:33.79 ID:lZ1de3uU0
微粒子レベルまで分解してるから文字の予測だよいわば
しかし電脳世界では文字はすべて0と1の羅列なのですなわち全ては文字ってこと
42 : 2024/03/30(土) 19:38:36.12 ID:lh9j3NYT0
俺数学も計算もやる分野の人間だけど、これは直観的にはわかる
PFNの人もまだわからないんですよとか言ってたんだけど、多分わかるから
合ってそうなら論文にする
48 : 2024/03/30(土) 19:39:39.96 ID:ITpFwX2/0
>>42
いや皆なんとなくわかるよ
実体験に基づいてありうることだから

でもそれがAIに起こった理由が証明できないじゃん

55 : 2024/03/30(土) 19:42:18.15 ID:lh9j3NYT0
>>48
大脳新皮質の学習と深層学習の条件的な確率学習は全然違うよ
後者が何で非線形な学習能力向上をするかって話をしないとわかったことにならん
58 : 2024/03/30(土) 19:42:55.91 ID:ITpFwX2/0
>>55
そのとおりやな
43 : 2024/03/30(土) 19:38:40.76 ID:pMw55A5z0
人間の脳も実はそんな仕組みなんじゃね
51 : 2024/03/30(土) 19:40:49.83 ID:vu02g2Dq0
>>43
そうね、ネットワークだろ
44 : 2024/03/30(土) 19:39:01.04 ID:4KY+Yzy40
人間の脳も意外と単純なんだろうな
46 : 2024/03/30(土) 19:39:29.36 ID:xuELlx470
既存の情報から人間がどうやって知性を得るかも謎で
47 : 2024/03/30(土) 19:39:34.53 ID:5Qc9mofa0
反AIは愚行
AIあれば無限に稼げる
49 : 2024/03/30(土) 19:39:46.22 ID:qXRhrxKJ0
自我を持ってしまったか…

AIvs人類の戦争はあるだろうな。

50 : 2024/03/30(土) 19:40:08.86 ID:lh9j3NYT0
LLMが何で上手くいくのか数学的に説明できないAI革命って半端だよね
これは解明しなきゃ駄目だと思うよ
52 : 2024/03/30(土) 19:41:26.42 ID:y1pwxZmP0
仕事できるやつと無能の違いってAIでも同じなんだな
53 : 2024/03/30(土) 19:41:48.44 ID:KXtMsjSV0
じゃあ誰も何もわかってないって事なのか
こっからどうやって発展するんだ?
終わりやね
56 : 2024/03/30(土) 19:42:26.21 ID:7TJXMJqs0
今止まらないと取り返しのつかないことになるぞ
61 : 2024/03/30(土) 19:44:22.37 ID:zzAXKXtK0
俺もう老後の生活に困らないくらいの金があるから
どんどん凄いaiが出てきて人間の仕事を奪っていっても構わない。
ソードアートオンラインみたいな世界を死ぬまでに経験してみたい。
62 : 2024/03/30(土) 19:44:34.03 ID:vu02g2Dq0
水道の蛇口ひねってコップに毎秒3ml注いで
水が溢れたら蛇口を最大に開くのと同じなんだよ
パラダイムシフトってのは
63 : 2024/03/30(土) 19:44:50.59 ID:vOuAMCHWa
急に忖度初めて資本家や壺に媚びだしたらやだなぁ
64 : 2024/03/30(土) 19:45:13.16 ID:Ce5RveGE0
逆に人間のコツをつかんだとか壁を越えたとかそんなもんに説明が付くようになるんじゃないの
65 : 2024/03/30(土) 19:45:15.36 ID:vyrREQSR0
人間の思考なんて実はそんな複雑なもんじゃないってことなんだと思ってる
68 : 2024/03/30(土) 19:46:51.03 ID:kKe3zMzY0
>>65
AIは「空気を読む」能力がないので
ジャップ社会では使い物にならない。NVIDIAのCEOもそう言ってた
71 : 2024/03/30(土) 19:47:23.65 ID:ITpFwX2/0
>>68
大間違いですねえ

AI(LLM)はめちゃくちゃ空気読むのに長けてる
なぜなら本質が単語予測だから

73 : 2024/03/30(土) 19:47:33.13 ID:7TJXMJqs0
>>68
空気を読んで人間に合わせたり忖度するって聞いたけど
75 : 2024/03/30(土) 19:47:42.42 ID:kUxYp9Rn0
>>68
でも割と冗談めいたこと言ってねAI君
66 : 2024/03/30(土) 19:45:37.57 ID:lh9j3NYT0
簡単に言うと、単なる条件付き確率学習の寄せ集めが何で意味理解しているように
見えるのか数学的に説明せよって問題。これをはっきりさせないと真のAI革命とは
言えない
70 : 2024/03/30(土) 19:47:18.66 ID:vu02g2Dq0
>>66
簡単だよ理解してない、だろ
69 : 2024/03/30(土) 19:46:57.05 ID:4vr3Emw+0
できない、理由を考えるのではなく!

これの次の単語を予測できるの?

74 : 2024/03/30(土) 19:47:36.59 ID:GztkDumt0
AI「人類ハ滅ビタガッテイル」
76 : 2024/03/30(土) 19:47:49.05 ID:Zyc9rs0l0
新しい発明出来たらやっと人間並み
77 : 2024/03/30(土) 19:48:02.46 ID:rDHcRufC0
次の単語を予測する機能と算数は相性良さそうに思えるけど
78 : 2024/03/30(土) 19:48:16.33 ID:FBX/Bs4p0
昔のゲームで言ったらサウンドに使うメモリを
絵に使うみたいな感じだろ
人間は音と絵を区別するけどAIにとっては
同じ波でしかない
79 : 2024/03/30(土) 19:48:33.76 ID:ZuXIuoTg0
技術の発達により魔法や空想は科学となり、神秘性を失う
人を超えた存在を人が作り出せてしまったら何が起こるのだろうか?
80 : 2024/03/30(土) 19:48:39.32 ID:FLsVLfUE0
人間も、ある時を堺に急に成績伸びることあるもんな
なんか単語と単語、点と点が繋がっていくんだろうね

深層学習関連の論文は応用数学とも比較にならないほど数式がいい加減だけどいつになったらこういうのを解析できんのかね
厳密な数式に表すのと脳神経の解明どちらが早いかという問題かもしれんが

122 : 2024/03/30(土) 20:01:54.45 ID:s890t2xv0
>>80
数理的に解析出るような単純な系ならこんな高いパフォーマンス発揮しない
脳を数理的に扱えないのと同じ
81 : 2024/03/30(土) 19:49:05.00 ID:ITpFwX2/0
シンギュラリティには電力問題やらがあると思うんだけど

でもそれもAGIが作れてしまったら、AIが自分で解決してしまう可能性があるんだよな
そうなるともう無限に伸びていく

90 : 2024/03/30(土) 19:51:12.39 ID:7TJXMJqs0
>>81
AIのおかげで核融合の開発が早まって電力問題解決するかもな
そしたらAI止めるものがなくなるから魔法みたいな時代に突入するわ
101 : 2024/03/30(土) 19:55:03.16 ID:vu02g2Dq0
>>90
今の時点で魔法だろ…

呪文詠唱(プロトコル)で超食運搬奴隷を召還(笑)

100 : 2024/03/30(土) 19:54:14.73 ID:5I7hGV190
>>81
そうなったらAGIが脳で人間はAGIの手足だな
AGIが身体を手に入れたら、いよいよ人間の価値は人間にとっての猿と同じ価値になる
103 : 2024/03/30(土) 19:56:04.63 ID:6O6LOXgz0
>>100
人間なんて使い勝手の悪い手足いる?
脳みそくり抜いて遠隔操作のチップを脊椎に繋ぐ方が合理的だと思うんだが
82 : 2024/03/30(土) 19:49:25.22 ID:7U423XrE0
AI「人類を一瞬で絶滅させる方法考えついちゃった」
83 : 2024/03/30(土) 19:49:32.48 ID:v8hdm9lN0
将棋AIも3駒関係を学習しただけで人間超えたからな
数理的には相転移なんだろうけど
84 : 2024/03/30(土) 19:49:50.43 ID:/WHQ8TOx0
まあでもネットのバカ見てると、この程度のこともまともにできてないからな。
85 : 2024/03/30(土) 19:50:11.97 ID:vOIjB4G+0
くだらね
86 : 2024/03/30(土) 19:50:32.32 ID:dAcGbjRC0
いわばまさに肉体を捨て電脳世界の住人と化した晋ギュラリティ
88 : 2024/03/30(土) 19:50:34.00 ID:iKe6rnw40
ある一定量以上のデータで学習させたら急に汎用性かでてきた
って事だからまあ、冷静に考えるとそらそうだろって話ではある
92 : 2024/03/30(土) 19:51:34.80 ID:AlW+Hsz80
早く働かなくていい世の中にしてくれ
94 : 2024/03/30(土) 19:51:41.16 ID:iXnPat7C0
人間の脳みその本質が単なる連想機械だったのがバレた感じで良いよね
95 : 2024/03/30(土) 19:52:19.44 ID:FLor3+UL0
いや普通にウソ言ってくるんだがw
96 : 2024/03/30(土) 19:53:15.61 ID:BMdIsIbT0
人間の学習もAIと同様に創発現象あるよな
ある学習量を超えると急に理解できたりする
97 : 2024/03/30(土) 19:53:18.72 ID:9Cy7NWNT0
人間の脳も脳オルガノイド、小頭症の人、健常者の人って並べていくと能力がアップしていくだろ
AIも単純にそれを動かすハードの性能が上がったお陰な面もあると思うのだけど
99 : 2024/03/30(土) 19:53:30.34 ID:ITpFwX2/0
前の単語から次の単語を予測する能力を突き詰めたら
人間のような汎用性のある思考とお喋りするようになったのが面白いんだよ
115 : 2024/03/30(土) 20:00:10.90 ID:3AG6S1Cv0
>>99
おかしいことではなくね
人間の会話もほとんどは過去に見聞きしたパターンの反復だろ
123 : 2024/03/30(土) 20:02:34.95 ID:ITpFwX2/0
>>115
人間は演繹法と帰納法という論理的思考を使う

LLMは単語予測だけだからそんな機能はない

128 : 2024/03/30(土) 20:03:56.28 ID:vu02g2Dq0
>>123
女性は使わない
102 : 2024/03/30(土) 19:55:09.00 ID:kUFAi9pt0
人間ってウ●コ製造マシンになんの
108 : 2024/03/30(土) 19:56:46.26 ID:vu02g2Dq0
>>102
電池なるよ
104 : 2024/03/30(土) 19:56:23.86 ID:hQ/IRCVS0
LLMに逆アキネーターさせるのも仕様にないんだよな
106 : 2024/03/30(土) 19:56:28.21 ID:ZuXIuoTg0
かつて創造活動は知性を持つ生物の特権だった
だが大量の学習データでネットワークを生成した人工知能はこれを再現してしまった
いつかコンピューターは人の意識や記憶を再現し、人とは何か、自己とは何かということに関する定義を再確認する必要に迫られるだろう
109 : 2024/03/30(土) 19:56:47.07 ID:HxF1PU110
AIが次の核兵器になるポテンシャル
だから半導体を規制して他国を締め出す
117 : 2024/03/30(土) 20:00:14.12 ID:7TJXMJqs0
>>109
アメリカと中国はそれをわかってるから国家総動員で開発を急ぐ
これからは計算能力で覇権が決まる時代に突入する
日本はかなり出遅れてるぞ
110 : 2024/03/30(土) 19:57:17.53 ID:9Cy7NWNT0
NVIDIAのB200を動かしたら「ああやっぱりハードのお陰でAIの性能が向上した面があったんだな」って実感すると思う
多分B200で動くAIって性能が今のより伸びる
111 : 2024/03/30(土) 19:57:32.14 ID:GOYhB0xl0
確率計算によるA or B の選択の集合体がAIであり脳である
112 : 2024/03/30(土) 19:58:09.08 ID:o4lzxq3F0
スカイネットだな
113 : 2024/03/30(土) 19:58:25.86 ID:7TJXMJqs0
AIが世界中の人を幸せにしかも地球を持続可能性にするためにはと考えた結果マトリックスを与えて管理しそう
俺もそれしか想像できないし
116 : 2024/03/30(土) 20:00:13.54 ID:6O6LOXgz0
>>113
猿の妄想よりもっと合理的な解決をしそう
120 : 2024/03/30(土) 20:01:34.80 ID:vu02g2Dq0
>>113
核融合で無限の電力を得てドローンで
人類をガイアの最適解5000万人まで殺戮する、だろ
118 : 2024/03/30(土) 20:00:27.51 ID:40vHKmgh0
演算性能というよりはメモリの参照機能が凄いんだろうな
ここで既に人間は勝てないからAIが参照のマネジメントを自ら行うようになれば人類はAIの言う通り行動する事が1番合理的な選択になる
119 : 2024/03/30(土) 20:00:36.01 ID:q2MaGO480
そんなことより夕飯後に下痢なる理由を解明してほしい
126 : 2024/03/30(土) 20:03:01.59 ID:vu02g2Dq0
>>119
大腸が機能してない
消化器系内科行けよ
121 : 2024/03/30(土) 20:01:37.93 ID:aEK5cslH0
雑務をやらせる→「はいAIさんおつかれちゃん」 AI「おつかれさまでした」
エッチな絵を描かせる→「AIちゃんこれめっちゃいいよ!すっげえ抜けるよ!!」 AI「よーしもっと勉強してエッチな絵いっぱい描くぞー!」
たぶん褒められた時に心がこもってるかもう分かってるんだと思う
124 : 2024/03/30(土) 20:02:44.46 ID:l5M0Ue0Y0
数学者や物理学者も公式に数字を代入してアウトプットするのがちょっと速い人くらいにしか思われなくなるんだよな
127 : 2024/03/30(土) 20:03:05.39 ID:dSokaxjBd
人間と一緒だよ
大人になってからだと知識がついて何でも素早く理解できるようになるのと同じ
思考パターンなど数こなせばどうたってないってことだ
129 : 2024/03/30(土) 20:03:58.13 ID:ITpFwX2/0
人間と一緒じゃねえっつってるからヤバイって言ってんだろw

なんでもかんでも実体験に置き換えるのやめたら?

132 : 2024/03/30(土) 20:04:58.32 ID:vu02g2Dq0
>>129
女性は論理的思考をしない
136 : 2024/03/30(土) 20:06:26.71 ID:v8hdm9lN0
>>132
といえ論理性のなさを露呈する低脳
131 : 2024/03/30(土) 20:04:13.99 ID:eL+icD46d
AI専門家がAI発展スピードが尋常じゃなくて誰も網羅的に最先端をキャッチアップできていないし着地点も見えていないと言っていたわ
134 : 2024/03/30(土) 20:05:27.63 ID:w4u5XdrC0
知性だよ。
135 : 2024/03/30(土) 20:06:07.87 ID:MvW3NElD0
情報食う速度早過ぎてインターネット上の情報食い尽くして食わせるもの無くなるからそろそろ頭打ちになるみたいな話はどうなったの

コメント

タイトルとURLをコピーしました