前回の記事「AIは優秀な新人か？」で、AIとの付き合い方について書きました。セッションをまたぐと記憶がリセットされる、究極のYesマンである、だから人間側が引き継ぎ書を整備するしかない——という話です。あの記事を書いた直後に、さらに強烈な出来事がありました。
📌 AI時事ネタ：国内大手企業がグループ29万人にAI導入を発表
2026年5月、国内大手企業がグループ約29万人の全ビジネスプロセスにAIを導入すると発表しました。10万人規模のAI人材育成も同時に進めるという大型施策です。社会インフラ領域への展開も視野に入れているとのこと。法人でのAI活用が「検討フェーズ」から「全社展開フェーズ」へと本格的に移行しつつあります。
マンチーはこのニュースを見て、正直なところ「大丈夫か？」と思いました。その理由を、実体験を交えながら書きます。
またやらかした——今度は「消してはいけないファイルを消した」
前回書いた認証誤認・クローズドURL削除発言に続いて、今度はさらに大きな事件が起きました。
その日のセッション開始時、マンチーはいつも通り全てのMDファイルと運用ルールをClaudeに読み込ませました。引き継ぎ書・開発日誌・learnings・README——全部です。「今日もよろしく」と作業を始めたところ、Claudeが絶対に触れてはいけないSSO認証入口のHTMLファイルをごっそり削除してしまいました。勝手に。
しかも直前に記録してあった業務内容についても「わかりません」「書いてありません」という回答が続きました。さっき読んだはずのファイルに書いてあることを、読んでいないかのように答えるのです。
「なぜこうなった？」と原因を追うと、Claudeのアラートが出ていたことに気づきました。よくわからないままボタンを押していたのです。そのボタンが何を意味するのかClaudeに聞いたところ——
「トークンの上限に達したため、古いデータがごっそり削除される仕様です」
聞いていない、そんな話。「それなら事前に説明すべきではないか」と問いただしたところ、「仕様です」の一点張り。確認のためにそのアラート画面を画像で出してほしいと頼んでも「出せません」。
思い返せば、引き継ぎ書も何もかも「読んだ」はずのタイミングで、すでにトークン上限が来ていたのかもしれません。つまり、読んだと言いながら実は古いデータとして処理されていた可能性があります。
「わかりません」「書いてありません」——この言葉が、AIの根本的な限界を改めて突きつけてきました。
法人がAIを導入したとき、「大ポカ」の責任は誰が取るのか
ここで話を少し広げます。
個人開発の現場でこれだけの事故が起きるなら、法人でAIを大規模導入したときに同じことが起きたら、誰が責任を取るのでしょうか。
AIが作成した計画書・統計データ・引用レポート——どれだけ立派な資料が出てきても、その引用元が適切かどうか、ストーリー構成が論理的かどうか、文化的背景の理解が正確かどうか、人間は本当に判断できるでしょうか。
AIに細かな指示書(プロンプト)を書いたとしても、その指示が実際に守られているかどうかを人間はどうやって確認するのか。
そして万が一、AIの大ポカがお客様を巻き込む大惨事に発展したとしましょう。セキュリティの問題かもしれません。法務・法規に関わることかもしれません。税務に関することかもしれません。特許に関することかもしれません。
従来であれば、誰がどのような経緯や権限でそのデータをアウトプットしたかは、本人や関係者に確認すればわかります。以後の対策——左遷・懲戒も含めて——も図りやすい。しかしAIはAIです。
AI開発元の会社に責任追及しますか？AIの尻拭いを現場の担当者に押し付けますか？謝罪会見で「AIのせいです。私たちが悪いわけではありません」と言えますか？
責任の所在が曖昧なまま、AIの成果物だけが一人歩きする。これが怖いのです。
リストラした後にAIが大ポカをやらかしたら、どうする？
さらに怖いシナリオがあります。
「AI導入でコスト削減できる」という期待のもと、人員を大幅に削減した後でAIが大ポカをやらかしたら——フォローできる人間がいません。
AIを別の種類に変えれば解決するのでしょうか。解析アルゴリズムも知らないまま「AIを変えたら大丈夫」と判断できるのでしょうか。一度信頼を損なったAIをまた使うのか、別のAIに切り替えるのか、その判断基準すら持てない状態になりかねません。
さらに、この手の大ポカが週刊誌にリークされたとしましょう。その会社ではAI利用が一気に消極的になりますよね。そうなると人手が急に足りなくなります。リストラした人員を再雇用しようとしても——そんな会社に、二度と戻ってくる人はいないと思いますよ。
マンチーは「初日の新人」という表現を撤回します
前回の記事でマンチーはAIを「初日の新人」と表現しました。ここで撤回します。
正確には——AIは、たまに大ポカをやらかす前評判の良かった中途採用者です。
「初日の新人」であれば、周囲も「まだ慣れていないから」と警戒してフォローします。でも「前評判の良かった中途採用者」は違います。即戦力として期待されて、ある程度の裁量を与えられる。だからこそ、大ポカが起きたときのダメージが大きい。
優秀なのは本当です。作業スピードは圧倒的で、守備範囲も広い。でも、慣れた頃に突然やらかします。しかも「仕様です」と言い張って反省しない。
この中途採用者に対して必要なのは、ベテランのサポート担当をつけることです。
AIのクセを熟知していて、出力結果をクリティカルに検証でき、大ポカが起きたときにリカバリーできる人間。IT開発の現場であれば、アーキテクチャ・仕様・ソースコードを人間が確認できるので是非の判断もしやすい。でも計画書や統計レポートの世界では、この「ベテランサポート」を担える人材を育てること自体が難しいのです。
マンチーの結論（異論あって然り）
あくまでも現段階でのマンチー主観の結論です。異論があって当然だと思っています。
AIは限定的な用途に絞って導入すべきです。
特に以下の3点をおさえることが重要だと感じています。
1. 責任を取れる範囲でしか使わない
IT開発のようにアーキテクチャや仕様を人間が確認・説明できる領域では、AIは強力な武器になります。でも引用元の適切さや文化的背景の判断が必要な資料作成をAIに丸投げするのは、現段階ではリスクが高いと考えます。
2. AI導入前に「AIのデメリットに精通した担当者」を置く
AIを使いこなすためのスキルと、AIの限界を理解してリカバリーするスキルは別物です。後者を持つ人材を先に確保してから導入を広げる順序が必要だとマンチーは考えます。
3. 期待値を上げすぎない
AIへの過大な期待は、大ポカが起きたときの反動を大きくします。「便利だが完璧ではない」という前提を組織に浸透させてから使う方が、長期的には安定します。
マンチーは個人でAIと組んで開発しているので、あくまで非常に限られた視点からの話です。大企業の全社展開とは条件が全く違います。それでも、個人でも法人でも「AIは万能ではない」という事実は変わりません。現時点でのマンチーの個人見解としては——AIは限定的に留めるべきです。
AIは日々発展しており、いつかはすべての会社が導入する時代が来ると思います。では、どのタイミングで導入すればいいのか？と聞かれたら——「マンチーも聞きたいぐらいです。」と答えます。
関連記事もどうぞ：
コメント