ChatGPTがSiriに統合されることで、Appleの仮想アシスタントがOpenAIプラットフォームを活用し、より複雑な質問にも答えられるようになります。さらに、iPhoneやiPad、Macの画面に表示されている内容を読み取ることも可能です。たとえば、ビデオを見ているときやInstagramで写真を見ているときに、「ここはどこですか？」や「この写真の建物は何ですか？」といった質問ができます。

Siriはスクリーンショットを撮影してChatGPTに送信し、ChatGPTがコンテキストを理解してデータベースを基に回答を提供します。プライバシーを考慮し、SiriはスクリーンショットをChatGPTに送信する前に必ずユーザーに許可を求めます。

この機能は、現在Visual Intelligenceを搭載している唯一のデバイスであるiPhone 16を持っていない人にとって特に興味深いものです。この機能を使うと、ユーザーはカメラコントロールを操作し、カメラに映っている対象に関する情報を得ることができます。Visual Intelligenceは、Apple IntelligenceやChatGPT、Googleの技術を併用して回答を提供します。

iPhone 15 Proまたは互換性のあるiPadを使用している場合は、写真を撮影し、SiriとChatGPTに質問をすることで情報を得られます。

さらに、AppleがApple Intelligenceの言語モデルを利用した独自のオンスクリーン認識機能を開発中である点も注目すべきです。ただし、この機能は来年のiOS 18のアップデートで提供される見込みです。この機能が利用可能になると、Siriは画面上の内容を理解し、そのコンテキストに基づいてアクションを実行できるようになります。すべての処理はデバイス内で行われます。

iOS 18.2には、ChatGPTの統合に加え、Image Playground、ジェン文字、新しくデザインされたメールアプリが含まれています。

現在のところ、iOS 18.2ベータ版はApple Intelligenceと互換性のあるデバイスのみで利用可能です。対象デバイスは、iPhone 15 Pro以降およびM1以降のiPadとなります。最終的には他のデバイスにも対応予定であり、Appleは以前、iOS 18.2が12月に一般公開されると示唆していました。

なお、iOS 18.1はApple Intelligenceのライティングツールや通知、テキスト要約機能を搭載し、来週リリースされる予定です。