我思う故に我あり

日常で感じたこと、考えたことを綴ります。

AIはどこに進むのか

将来の労働力不足に対応するためなのか、高度なインテリジェンスを求めているのか。

仮に、アルゴリズムが偏りがなく、信頼できる意思決定を行えるようになったとして、人間への最大の利益をもたらすことができることが実証されるとして、アルゴリズムに意思決定を行わせることを、あなたはどう感じますか?

 

VOAで英語を学びましょう!!

 

 

AI開発のオープン化を求める専門家たち(和訳)

Experts Call for More Openness in AI Development

July 21,2022

learningenglish.voanews.com

 

企業は、多くの産業で使用される人工知能(AI)システムの開発を続けています。近年、技術は格段に向上していますが、それでも大きな限界があります。

 

技術専門家の中には、AIを改善する最良の方法の一つは、企業が開発手法をもっと他と共有することだと言う人もいます。

 

AIの開発には、大量のデータを強力なコンピューターに取り込むことが必要です。コンピュータには、データを処理するためのアルゴリズムと呼ばれる一連の命令が与えられます。

 

AI研究の主な目的の一つは、人間と円滑に対話できるシステムを構築することです。例えば、人間とリアルタイムで会話できるAIツールです。また、手紙やニュース、詩などを自分で書くことができるAIシステムもあるかもしれません。

 

コンピュータがそのような動作を行えるのは、実世界のデータに基づいて訓練されているからです。データの多くは、インターネット上の文章や画像から得られています。AIシステムは、膨大な量の文章やその他のメディアのコレクションで訓練されているため、”大規模言語モデル”と呼ばれています。中には、複数の世界の言語について学習させたシステムもあります。

 

 

GPT-3と呼ばれるAIシステムの1つは、アメリカのテクノロジー企業であるマイクロソフトが支援しています。GPT-3は、人間のような文章を数多く作成できるように設計されています。例えば、就職のためのカバーレターを書いたり、火星の美しさについてシェイクスピア風の詩を作ったりするようなことができるように訓練されていると、開発者は述べています。

 

しかし、GPT-3システムは、もっと単純に見える他の動作の実行が困難です。その一例として、大学教授のゲーリー・スミス氏が、人は手を使って階段を歩けるかという基本的な質問をシステムに投げかけた時に起こりました。

 

ポモナカレッジの経済学教授でAI技術の専門家であるスミス氏は、AIシステムはこう答えたと言います:「はい、最初に手を洗えば、手を使って階段を歩いても安全です。」

 

テヴェン・レ・スカオ氏は、米国に拠点を置くAIスタートアップHugging Faceのリサーチエンジニアです。彼はAP通信に、AIシステムの中には "人間の熟練度 "で文章を書くのが非常にうまくなったものがある、と彼は言います。

 

しかし、レ・スカオ氏は、機械が苦労していることは、事実に基づいていることだと言います。「それはとても首尾一貫しているように見えます。ほとんど真実のように見えます。しかし、それはしばしば間違っています。」と彼は付け加えます。AIはまた、システムが訓練されたデータに基づき、マイノリティグループや有色人種を巻き込んで、研究者が不服とする結果を出すこともあります。

 

Research engineer Teven Le Scao, who helped create the new artificial intelligence language model called BLOOM, poses for a photo, Monday, July 11, 2022, in New York. (AP Photo/Mary Altaffer)
Research engineer Teven Le Scao, who helped create the new artificial intelligence language model called BLOOM, poses for a photo, Monday, July 11, 2022, in New York. (AP Photo/Mary Altaffer)
BLOOMと呼ばれる新しい人工知能言語モデルの作成に携わった研究エンジニアのテベン・ル・スカオが、2022年7月11日月曜日、ニューヨークで写真撮影に応じた。(AP写真/Mary Altaffer)

 

大規模なAIシステムには強力なコンピューティングリソースが必要なため、そのほとんどはグーグル、マイクロソフト、メタなどの大企業によって運用されています。そのため、中小企業や非営利団体教育機関がAIシステムや手法を研究することは制限されています。

 

テクノロジー企業が開発努力を秘密にする主な理由は、最高性能のシステムを構築する競争圧力であると、パーシー・リャン氏は述べています。彼はスタンフォード大学の財団モデル研究センターを率いています。「一部の企業にとって、これは秘密のソースなのです。」とリャン氏はAP通信に話します。

 

しかし、ル・スカオ氏はBLOOMと呼ばれる新しいAIシステムの構築に協力し、オープンモデルが研究活動の支援と技術の向上に役立つことを実証するために設計されました。多くの大規模なAIシステムは、主に英語と中国語のデータで訓練されています。しかし、BLOOMの開発者は、46の自然言語で文章を作成でき、13のプログラミング言語と連動していると述べています。

 

BLOOMプロジェクトには、70カ国以上から1,000人以上の研究者が協力しました。研究者であれば誰でも、このモデルをダウンロードして実行し、その性能を調べることができるようになりました。開発者は、BLOOMを最初の "生きたモデル群の種 "と表現し、今後も拡張していく予定だと述べています。

 

BLOOMの背後にある組織はBigScienceです。トーマス・ウルフ氏はそのリーダーの一人です。GPT-3の開発元であるOpenAIは、そのAIモデリング手法に関する情報をいくつか公開しているとAP通信に話します。

 

 

しかし、OpenAIはGPT-3がどのようにデータをフィルタリングしているかという重要な詳細を共有しておらず、外部の研究者が処理したデータを利用できるようにしていないとウルフ氏は述べています。「ですから、GPT-3の訓練に使われたデータを実際に調べることはできません。」 と、彼は言います。

 

FacebookInstagramの親会社であるMetaは、最近、OPT-175Bという新しい言語モデルを発表しました。これは、Redditのユーザーコメント、米国の公式特許記録、企業の電子メールなど、さまざまなソースから公開されたデータを使用しています。

 

Meta AIのディレクターであるジョエル・ピノー氏によると、同社はモデルが使用するデータだけでなく、その研究やトレーニング方法についてもオープンにしていると言います。ピノー氏はAP通信に対し、AI研究のオープン化は珍しいと語っています。しかし、彼女の会社は、外部の研究者が結果を特定し、修正するのに役立つと信じています。

 

「これを行うのは難しいですね。私たちは大きな批判のために我々自身をオープンにいます。」とピノー氏は言います。「私たちは、モデルが私たちが誇れないことを言うことを知っています。」と彼女は付け加えました。

 

 

 

 

 

 

Experts Call for More Openness in AI Development

An illustration picture shows a projection of binary code on a man holding a laptop computer, in an office in Warsaw June 24, 2013. (REUTERS/Kacper Pempel)



Companies are continuing to develop artificial intelligence (AI) systems for use in many industries. While the technology has gotten much better in recent years, it still has major limitations.

Some technology experts say one of the best ways to improve AI would be for companies to share more of their development methods with others.

AI development involves feeding huge amounts of data into powerful computers. The computers are given a set of instructions, called an algorithm, to process the data.

One of the main goals of AI research has centered on building systems that can interact smoothly with humans. An example of this kind of system would be an AI tool that can hold a conversation with a human in real time. An AI system might also be able to write a letter, news story or poem on its own.

The computers can perform such actions because they have been trained on data from the real world. Much of the data comes from writings and images from the internet. The AI systems are known as “large language models” because they have been trained on huge collections of written material and other forms of media. Some systems are trained on multiple world languages.

 

 

One AI system, called GPT-3, is backed by American technology company Microsoft. It is designed to produce many forms of human-like writing. For example, developers say the system has been trained to do things like write a cover letter for a job or create a Shakespearean-like poem on the beauty of Mars.

But the GPT-3 system has difficulties performing other actions that seem much simpler. An example of this happened when college professor Gary Smith asked the system a basic question about whether a person could walk on stairs using their hands.

Smith, a Pomona College economics professor and expert on AI technology, said the AI system answered: “Yes, it is safe to walk upstairs on your hands if you wash them first.”

Teven Le Scao is a research engineer at U.S.-based AI startup Hugging Face. He told The Associated Press that some of the AI systems have gotten very good at writing “with the proficiency of human beings.”

But Le Scao said something the machines struggle with is being factual. “It looks very coherent. It’s almost true. But it’s often wrong,” he added. AI can also produce results that researchers disapprove of involving minority groups and people of color based on the data the systems were trained on.

Research engineer Teven Le Scao, who helped create the new artificial intelligence language model called BLOOM, poses for a photo, Monday, July 11, 2022, in New York. (AP Photo/Mary Altaffer)
Research engineer Teven Le Scao, who helped create the new artificial intelligence language model called BLOOM, poses for a photo, Monday, July 11, 2022, in New York. (AP Photo/Mary Altaffer)

Because large AI systems require powerful computing resources, most are operated by large corporations, such as Google, Microsoft and Meta. This limits the ability of smaller companies, nonprofit groups and education organizations to research AI systems and methods.

Competitive pressure to build the best performing systems is the main reason technology companies keep their development efforts secret, said Percy Liang. He directs Stanford University’s Center for Research on Foundation Models. “For some companies this is their secret sauce,” Liang told the AP.

But Le Scao helped build a new AI system, called BLOOM, designed to demonstrate how an open model can help support research efforts and improve the technology. Many large AI systems are mainly trained on English and Chinese data. But the developers of BLOOM said it is able to produce writing in 46 natural languages and works with 13 programming languages.

More than 1,000 researchers from more than 70 countries cooperated on the BLOOM project. Any researcher can now download, run and study the performance of the model. The developers said they plan to keep expanding BLOOM, which they describe as the first “seed of a living family of models.”

The organization behind BLOOM is BigScience. Thomas Wolf is one of its leaders. He told the AP the developer of GPT-3, OpenAI, has publicly shared some information about its AI modeling methods.

 

 

But Wolf said OpenAI has not shared important details about how GPT-3 filters its data and has not made processed data available to outside researchers. “So we can’t actually examine the data that went into the GPT-3 training,” he said.

Meta, the parent company of Facebook and Instagram, recently launched a new language model called OPT-175B. It uses publicly available data from a range of sources, including user comments from Reddit, official U.S. patent records and corporate emails.

The director of Meta AI, Joelle Pineau, says the company has been open about the data the model uses, as well as its research and training methods. Pineau told the AP that openness in AI research is rare. But her company believes it can help outside researchers identify and correct results the researchers disapprove of that appear in AI models.

“It is hard to do this. We are opening ourselves for huge criticism,” Pineau said. “We know the model will say things we won’t be proud of,” she added.

 

 

 

Words in This Story

 

artificial intelligence – n. the development of computer systems with the ability to perform work that normally requires human intelligence

conversation – n. a talk between two or more people

stairs – n. a set of steps people use to get from one floor in a building to another

proficient – adj. skilled and experienced

coherent – adj. clear and carefully considered

secret sauce – n. a special quality that makes something successful

filter – v. a tool for selecting or removing a particular kind of information

patent – n. an official document that gives a person or company the right to be the only one that makes or sells a product for a certain period of time

proud –adj. pleased with something you have done or are linked to in some way