1999年7月2日、ついにAI将棋2000が発売された。
将棋ソフトは、ここ2〜3年の間に、急激に強くなってきたが、最新将棋ソフトであるAI将棋2000の実力はどの程度なのか、現在私が持っている、現将棋ソフトと対比させながら、様々な角度からその実力を探っていってみようと思う。
なお、ここでは、ソフトの持っている機能や動作環境の比較などは行いません。それらを知りたい場合は、各々将棋ソフトのHPへ行って見て下さい。
(使用環境と評価ソフト)
CPUは全てペンティアム2の266MHZ、メモリは64Mを使用。
評価ソフトは、AI将棋2000(以下AI2000)、AI将棋3(以下AI3)、東大将棋(これは昨年発売されたバージョン1、以下東大)、ファミリー将棋(今年6月に発売、以下ファミリー)の4つにした。AI将棋3デラックスはAI3に比べると機能はかなり増えたが、強さは同じと聞いているため、今回の評価からは除いた。
※なお、東大将棋の次期バージョンはまもなく発売される。
目次
(1)対局した私の感想
(2)棋力判定問題集を解かせた結果
(3)読みの技法を解かせてみると
(4)コンピュータ同士の対局
(5)AI将棋2000の下位レベルを検証
(6)結論
(1)対局した感想(この項は感想であり、特に資料はありません)
AI将棋のレベルは7まであるが、7は一手最長60秒考えるため、普段の対局には向かない。しかも、レベル6とそれ程変わらないと感じられる為、AI将棋については今後レベル6で話は進めていきます。東大は最強のレベル5でも一手30秒以内に指してくるので、これで比較、ファミリーも一手10秒以内に指してくるので、最強の最上級で比較する。
まず、数十局対局した感想であるが、残念ながら強さはAI3もAI2000もあまり変わっていないように感じた。
しかし、AI2000の良さはむしろ別なところにあるような気がする。AI3は中盤以降(定跡から外れた所から)、一手30秒考えてくるので、一局にかなり時間がかかってしまったが、AI2000では、中盤以降も10〜20秒で指してくることがかなり多かった。これは、人間の考慮中も考えるような設定になっているからのようだ。一局の時間が短くなり、以前より快適になった。
私の感想では、AI将棋はどちらも二段〜三段くらい、東大は二段弱、ファミリーは1〜2級といったところだ。ただ、これはあくまで全体をならした棋力であり、部分部分ではかなりばらつく。
特に気になったのが、終盤での緩手。どのソフトでも、相手にとってありがたいと思われる緩手が一局で4〜5回は出る。こういった緩手、疑問手が全く出なくなれば、おそらく四段に近い棋力を持つのではないかと思われる。
(2)棋力判定問題集を解かせた結果
ソフトにこのHPに載っている棋力判定問題を解かせてみた。
※詳しい結果はここをクリック
指した手については、別頁を見てもらいたいが、ソフトは以下の点数を取った。
AI将棋はレベル6、東大将棋はレベル5、ファミリー将棋は最上級で解かせた。
| 得点数 | AI将棋2000 | 正答率 | AI将棋3 | 正答率 | 東大将棋 | 正答率 | ファミリー将棋 | 正答率 | |
| 駒得問題 | 10点 | 10点 | 100% | 10点 | 100% | 10点 | 100% | 10点 | 100% |
| 手筋問題 | 28点 | 25点 | 89% | 23点 | 82% | 22点 | 79% | 23点 | 82% |
| 必死問題 | 16点 | 16点 | 100% | 10点 | 63% | 8点 | 50% | 8点 | 50% |
| 詰み問題 | 14点 | 12点 | 86% | 12点 | 86% | 14点 | 100% | 12点 | 86% |
| 受け問題 | 12点 | 10点 | 83% | 10点 | 83% | 8点 | 67% | 11点 | 92% |
| 定跡問題 | 20点 | 13点 | 65% | 7点 | 35% | 12点 | 60% | 12点 | 60% |
| 得点合計 | 100点 | 86点 | 72点 | 74点 | 76点 | ||||
| 級位者用(1〜20問) | 40点 | 38点 | 95% | 36点 | 90% | 38点 | 95% | 37点 | 93% |
| 初段用(21〜40問) | 40点 | 30点 | 75% | 22点 | 55% | 18点 | 45% | 25点 | 63% |
| 有段者用(41〜50問) | 20点 | 18点 | 90% | 14点 | 70% | 18点 | 90% | 14点 | 70% |
70点〜79点は二段、80点〜89点は三段という評価に当てはめると、皆二〜三段ということになりそうだ。
面白いのは、AI3とファミリーでは、明らかにAI3の方が強いにも関わらず、ファミリーの方が点数が良いことだ。おそらく、この棋力判定問題集を、機械に当てはめるには、ちょっと問題があるからだろう。
たとえば、人間の場合、手の善悪のバラツキは問題を解かせる場合それほど出ないのが普通だ(対局中だとポカはあるが)。仮に、三段の人が問題を解く場合、間違っても、3級の人が指すような手を指すことはない。ところが、コンピュータの場合、詰みの局面では五段であっても、序盤は3級であったりすることが多い。
有段者用に作った問題の方が、初段前後向けに作った問題よりも、正解率が高かったことも機械ならではである。人間だったら、このような現象は起きないはずだ。
すなわち、手筋問題に限って言えば、ある程度の段位認定はできるが、これが正確なソフトの評価にはならないと言うことである。逆に定跡問題なども、ソフトの実力を見る上では不要なものだ。
ただ、この点数を見る限り、中盤以降の手筋については、二段並の棋力を持っていると判断しても良さそうだ。
また、この問題を解かせた結果、非常に面白い所を見つけた。
AI3が間違えた、必死問題をAI2000は3問解いた(37問、41問、46問)。つまりこれから考えられるのは、AI3は難しい必死は、かけることが出来なかったのだが、AI2000になって、出来るようになったと言うことらしい。
※余談であるが、この問題を解かせた為に、問題の不備を見つけた。必死問題の46問目、正解は3一銀で、AI2000は正解し、AI3とファミリーは3一金としたため不正解になったのだが、東大将棋は1三金とした。調べてみると、1三金でも必死がかかっており、問題としては欠陥だった。もちろん、これも正解にした(3一金は不正解)。
(3)読みの技法を解かせてみると
棋力判定問題というのは、級の人の判定も含めてあるため、明快な答えが出ているものであり、同時にパソコンソフトの棋力判定には、あまり妥当であるとは言えなかった。
そこで、思いついたのが、島朗著の「読みの技法」という本である。この本は、25題の局面を抽出し、羽生、森内、佐藤というトッププロにその時点での読みを披露してもらい、解説したものである。
この局面をコンピュータに解かせた場合、いかなる差し手を示すであろうか。
答えが明確に出ていない局面で、どのように指すか。その指し手で、真の実力が分かるのでないかと思い、実験に踏み切った。
まず、この本のなかから、10題を抽出した。この本には序盤、中盤の読みの構想を練る問題も多いので、こういう問題は外し、中盤以降の問題だけに限った。
そして、3人のプロが考えた手を10点、考えには入れるが、そうは指さないだろうという手を5点、全く解説に上らなかった手を指した場合は0点として、それぞれのソフトに解かせてみた。
結果は、次の表のようになった。
※問題及び、詳しい指し手についてはここを参照
| AI将棋2000 | AI将棋3 | 東大将棋 | ファミリー将棋 | |
| 第1問 | 10点 | 10点 | 5点 | 0点 |
| 第3問 | 10点 | 10点 | 10点 | 0点 |
| 第5問 | 5点 | 5点 | 5点 | 0点 |
| 第7問 | 5点 | 10点 | 5点 | 5点 |
| 第9問 | 10点 | 0点 | 0点 | 5点 |
| 第11問 | 0点 | 0点 | 0点 | 0点 |
| 第14問 | 5点 | 5点 | 5点 | 5点 |
| 第19問 | 5点 | 5点 | 5点 | 0点 |
| 第20問 | 5点 | 5点 | 0点 | 0点 |
| 第22問 | 10点 | 10点 | 10点 | 10点 |
| 合計得点 | 65点 | 60点 | 45点 | 25点 |
この点数は、どうやらそのまま将棋の実力を現していると言えそうだ。
詳しくは、別頁を見てもらいたいが、AI2000が1問や9問でプロが第一候補とする手を実際に指した時には、まさに強さを実感した。また、プロの読みの中に入ってこない手を指したのは、わずかに11問目だけであったことも、驚くべきことだった。
数年前まで、その筋の悪さに辟易したものだったが、今やアマ高段者並の筋を持ち得たと言っても過言ではなさそうだ。
(4)コンピュータ同士の対戦
「読みの技法」を解かせた結果からは、AI2000が最も強く、ファミリーが弱そうだということであるが、実際に対戦させたらどうなのか、ということで、実際に対局させてみた。
対局方法は、一台のコンピュータに対局ソフトを二つ起動させ、人間(私)が、コンピュータの指した手を、もう一方のソフトの人間側の指し手に入れてやるという方法だ。
AI将棋2000を中心に、先後2局づつ、4局対局させた結果を次に載せた(勝数はAI2000側から見ている)。
1局及び2局しかやってないのは、将棋が大差になったからである。
| AI3レベル6 | AI3レベル5 | 東大将棋 | ファミリー将棋 | |
| AI将棋2000レベル6 | 2勝2敗 | 3勝1敗 | ||
| AI将棋2000レベル5 | 2勝2敗 | 2勝2敗 | 1勝0敗 | |
| AI将棋2000レベル4 | 0勝2敗 | 2勝0敗 | ||
| AI将棋2000レベル3 | 2勝2敗 |
この結果は、自分が対局して得た印象とほぼ同じになった。
なお、全てのレベルにもっと多くの対局をさせればよりいいのだろうが、膨大な時間がかかるため(人間がついていないとなので)、これで精一杯だった。
ただ、将棋の内容を見ても、AI2000とAI3はほぼ互角だった。仮に何十局指したとしても、そう極端に勝率が片寄るとは考えにくい。
東大は終盤逆転されることが多かったが、レベル5よりは弱い感じを持っていただけに、むしろ健闘したとも言える。
ファミリーとAI2000のレベル5では問題にならなかった。レベル3でほぼ互角か、ややファミリー強いかといったところだ。
(5)AI将棋2000の下位レベルを検証
今までは、レベル6でのみ検証してきたが、ここでは、レベル5以下の棋力が、どの程度であり、どのような指し手をするか見ていきたいと思う。
AI2000のレベルは全部で8段階ある(AI3は7段階)。
一つ増えたのは、レベル0が追加されたためだ。
そこで、レベル0の六枚落ちから指し込み(勝つとレベルを上げ、負けると駒を増やす)で対局した。なお、私の方はほどんど時間は使っていない(1局の消費時間5〜8分くらいの早指し)。
結果は次のようになった(私側から見た結果)。
第1局 レベル0との六枚落ち・・・圧勝、問題にならず。
第2局 レベル1との六枚落ち・・・楽勝、このレベルにはまず負けない。
第3局 レベル2との六枚落ち・・・辛勝、結構いい勝負になる。何局かやると負ける時もあるだろう。
第4局 レベル3との六枚落ち・・・負け、矢倉にがっちり組まれ、指しようがない。
第5局 レベル3との四枚落ち・・・勝ち、楽勝ではないが、勝ち越せると思う。
第6局 レベル4との四枚落ち・・・辛勝、今回は勝ったが、負け越すかもしれない。
第7局 レベル5との四枚落ち・・・負け、早指しで勝つのは大変。じっくり指しても、分が悪そう。
第8局 レベル5との二枚落ち・・・勝ち、勝ち越せるだろうが、一手でも悪手があると逆転は難しい。
レベル6とは何回か指してみて、じっくり指して、二枚落ちでほぼ互角か、やや分が悪い。
指してみてレベル間に差があると感じたのは、レベル0と1の間、レベル2と3の間、レベル4と5の間だ。
レベル0は駒損も平気でするし、指し手はめちゃめちゃだ。本当に駒の動きを覚えたばかりの人向けだろう。
レベル1になるとずっと筋が良くなる。指してみて、自分より強ければ、勉強になるかもしれない。
レベル2は1よりやや強い程度。
レベル3は、また急に強くなる。駒落ちでもがっちり矢倉に組んで、攻めてこない(攻めを待っている)ので、六枚では指しようがなかった。
レベル4は3よりやや強い程度。
レベル5以上なら、平手でやっても結構面白いと感じる強さだ。
駒落ちの場合、レベル2までは囲いにしてこなかったので、囲わないのかと思い、平手で指してみた。すると、レベル0以外はちゃんと定跡通り囲ってきていた。
段級にするなら、レベル0は、10級以下、レベル1は6〜7級、レベル2は4〜5級、レベル3は1〜2級、レベル4は初段〜1級、レベル5は二段前後、レベル6は二〜三段くらいである。
(6)結論
さて、少し重複するかもしれないが、今まで検証してきたことをまとめてみよう。
私自身はAI将棋3に出会う前のソフトには、筋が悪いし、弱いし、その癖やたら考えるし、というイメージしかなかったのだが、AI将棋3を初めてやったときは、本当に感動したものだった。非常に筋が良くなり、短時間で強い手を指してきていた。このインパクトがあまりに大きかったために、今度のAI将棋2000は発売前からかなり期待していたのも事実だ。
感想を素直に言うと、「ちょっと残念だったな」という感じだ。
AI3の最大の欠点は、攻めて来ないで、永遠と待ち続けるところにある(但し、自陣に隙を作れば攻めてくる)。この「待ち」の姿勢がどの程度直っているかと思ったのだが、たとえば、コンピュータ同士で(AI3とAI2000で)対局させた時など、延々とどちらも待っているので、やめようかと思った局面が何度も出現した。AI3に比べたら、いくぶん攻め将棋になったところもあるが、依然「待ち」の姿勢は変わってないように思う。
強さにしても、AI3との対局で分かるように、全体の棋力はほとんど変わっていない。
ただ、棋力判定問題や、読みの技法を解かせた限りでは、強くなっているようにも思える。これはおそらく、終盤での必死力の強化や、定跡の強化などで生まれたものなのだろう。しかし、全体的な棋力は目立つほどアップはしなかった、という事である。
AI2000の良さは、別なところにある。
一番目立った改良点は、対局した感想のところでも書いたが、考慮時間の短縮だ。AI3に比べると、同じレベルでは、半分くらいの時間で一局が終わるようになった。これはかなり快適になったと言えそうだ。
それ以外にも、様々な機能が追加され、楽しいソフトになってはいる。
下位レベルの指し手であるが、レベル0を除けば非常に筋はいい。これだけ筋がいいのなら、級位者の人たちにも将棋ソフトを率先して勧めることが出来そうだ。
ただ、あえて不満を言うなら、レベルの段階をもっと平均的にならして欲しかった。レベル0から1へは急に上がるし、2から3もかなり急に上がる。これだと、上のレベルに勝てるようになるまで、かなりかかる人が大勢出そうだ。また、筋が良いのは評価できるが、下のレベルは、序盤、中盤、終盤と同じレベルで棋力を下げて欲しかった。たとえば、レベル2だと、総合棋力は4〜5級なのだが、かりにこれが4、5級の人なら、このソフトのような詰めはできないはずだ。このアンバランスさがなくなれば、本当に練習用としてもっと良くなると思う。
ファミリー将棋についても、少し触れておこう。
対局した感じが1〜2級で、またAI2000との対局でもレベル3といい勝負であることから、やはり総合棋力は1〜2級というところだろう。ただ序盤が初級者なので、中盤以降は初段くらいあるかもしれない。
とにかくレスポンスはいいので、指定局面戦などをやってみるには面白いと思う。筋の悪さも中盤までなので、中、終盤を勉強したいという人には問題ないだろう(値段も安いし)。
最後に将棋ソフトを購入しようかどうか迷っている人へのアドバイスで締めくくろうと思う。
あなたの棋力に関係なく、将棋ソフトを何も持っていないのなら、AI2000は文句なくお買い得だ。
AI3は持っているが、AI3DXは持っていないという人は、AI2000を買っても面白いと思う。AI3に比べたら、様々な機能が追加されているからである。
AI3DXを持っている人で、もっと強くなったかもしれないと思い、AI2000を買うと、ちょっとがっかりするかもしれない。こういう人は、一年先延ばししてもいいだろう(中倉のファンだったら、絶対買うべきだが)。
棋力的には、アマ四段以上ある人には、やはりまだちょっとつまらないところもある。しかし、三段以下なら相当な勝負だ。
特に、レベル6と7は、規定の対局で勝たないと出てこないので、出せない人もかなりいるんじゃないかと思う。
確かに数年前の将棋ソフトに比べると、格段に筋が良くなり、強くなった。これから、「私はこの将棋ソフトで強くなりました」という人が出てきてもおかしくないようになったと言える。
AI2000や今後出るソフトに対する、私個人的な要望としては、
(1)より強くなること(2)より指し手が早くなること(3)攻めが成功するかどうか五分なら攻めて来るようにすること(4)中、終盤での緩手を少しでもなくすこと、(5)下位レベルを段階的、平均的に棋力を上げていくようにすること、
であろうか。
今回の検証では、もっとやってみたいこともあったのだが、なにぶん膨大な時間がかかってしまうため、一旦、ここで区切りをつけたい。
次々に新しい話題の出るソフトを楽しみにしながら、今回の検証レポートを終わりにしたいと思う。
1999年07月27日作成