AI で古い基幹システムを書き換え、正答率 86.6% — 刷新の順番

何が起きたの? — 書き換えの正答率が 86.6% に

OpenAI は 10 月 19 日(米国時間)、古い言語を AI がどこまで扱えるかを示す評価結果を発表しました。対象は COBOL や Fortran、Visual Basic など、AI が学ぶための資料が少ない言語です。

評価は 2 つあります。

1 つ目の平均 87.4% は「GPT-6 Astra」、26.8% は前のモデル「GPT-5.6 Sol」の値です。作らせるのは、広く使われるデータベース「SQLite」と同じように動く仕組みです。COBOL は大きく伸びましたが、平均にはまだ届いていません。

2 つ目の数字は「GPT-6.1 Sol」のものです。OpenAI は、97.9% で評価がほぼ上限に近づいたとしています。評価の仕組みとテストは、ソフトウェア開発の共有サイト「GitHub」で公開されています。

COBOL って何? なぜ「1 バイト」が問題なの?

COBOL は、事務処理のために作られた古いプログラミング言語です。銀行の勘定や役所の台帳のように、長く動き続ける基幹システムに今も残っています。

困るのは、AI が学ぶ材料が少ないことです。インターネット上のコードや解説は、Python のような今の言語に比べて多くありません。そのため、AI にとって苦手な言語でした。

今回の評価は、書き換えた後のプログラムが、元とまったく同じ結果を出せるかを見ています。外から見える出力が 1 バイトでも違えば不合格です。1 バイトは、半角の英数字 1 文字ぶんにあたります。

たとえるなら、ベテランが付けてきた帳簿を、新しい書式の帳簿に写す作業です。書式が変わっても、合計の数字は 1 円もずれてはいけません。

試験の中身は、AI には見せません。その試験にすべて通ったときだけ、移行できたと判定します。

もう一つの鍵は「考える量」です。AI が答えを出す前に、どれだけ時間をかけて検討するかの設定で、推論量と呼ばれます。新しいモデルは、少なめの設定でも 86.6% に達しました。

古いシステムを抱える会社は、何が変わるの?

古い基幹システムの悩みは、書ける人が減っていくことです。直すにも、新しい仕組みへ移すにも、時間と人手がかかります。

書き換えの大部分を AI が担えるなら、人の仕事の重心は「書く」から「同じ結果になったと確かめる」へ移ります。

ただし、数字は OpenAI 自身の評価です。報道によると、本番の移行には、引き続き専門家の確認と試験が必要とされています。実際の業務データや、記録に残っていない他のシステムとのつながりは、評価の外にあります。

SYNCON の視点 — 書き換える前に「正解」をそろえる

この評価で正解を決めたのは、元のプログラムの出力でした。裏を返すと、元の出力を記録した試験がなければ、AI が書き換えた結果が正しいかどうかを判断できません。

刷新で最初に決めるのは、発注先よりも順番です。まず、いまのシステムの入力と出力を記録して、比べられる形でそろえます。次に、影響が小さく、試験を用意しやすい部分から AI に任せます。勘定や決済のような中核は、試験が十分にそろってから進めます。

外部に頼むときは、AI を使うかどうかより、「同じ結果になったことを何で示すか」を契約の前に確かめておきたいところです。考える量の設定で正答率も利用料も変わるので、どの部分にどの設定を使うかも見積もりで確かめます。

要点まとめ

• OpenAI が 10 月 19 日、古い言語を AI で扱う評価結果を発表
• COBOL を 5 言語に書き換える評価で、正答率は 5.4% から 86.6% に。考える量を増やすと 97.9%
• 出力が 1 バイトでも違えば不合格。AI に中身を見せない試験で判定
• 新しいモデルの利用料は、同じ設定で前のモデルの 61%
• 本番の移行には、専門家の確認と試験が引き続き必要
• 刷新の準備は、元の出力を記録した「正解」をそろえることから