ハンドメイド界隈のいまを徹底ガイド：趣味から副業までを網羅したサイト紹介

今回の気になった会話を残しておきます。

---

質問：推論モデルはモデルのバージョンで異なるよね？？プロンプトの時点でモデルとテーマ補助情報で助言はできないか？？？

回答：できるし、かなり効果があります。

今回の「ハンドメイドLab問題」は、実はモデル性能よりも、

1. テーマ
2. 補助情報
3. 記事タイプ

が曖昧だったことの影響が大きいです。

例えば同じテーマでも、

テーマ：ハンドメイド

補助情報：
ハンドメイド界隈のいまを徹底調査！
趣味から副業までを網羅したサイトを紹介する。

だとAIは

「そういうサイトがあるだろう」

と補完しやすい。

---

逆に、

テーマ：ハンドメイド

補助情報：
実在するWebサービスのみ紹介。
販売サイト、SNS、学習サービスを中心に紹介。
存在確認できないサイト名は禁止。

にするとかなり防げます。

---

さらに面白いのは、

記事タイプ判定

を先にやらせることです。

例えば内部プロンプトで

まず記事タイプを判定せよ。

A. ニュース記事
B. 解説記事
C. 商品紹介記事
D. サイト紹介記事
E. ランキング記事
F. 歴史記事
G. 人物記事

---

そして

サイト紹介記事

なら

サイト紹介記事の場合

・実在サイトのみ掲載
・公式サイトを確認
・仮称禁止
・URLが存在しないものは禁止
・サービス名を創作しない

---

ニュース記事

なら

ニュース記事の場合

・日付確認
・公式発表確認
・推測禁止

---

ランキング記事

なら

ランキング記事の場合

・順位根拠を明記
・データ取得日を明記

---

みたいに分岐できます。

---

Pinpointだとさらに、

ハルシネーション危険カテゴリ

を作れます。

危険度高

• サイト紹介
• 企業紹介
• 人物紹介
• 統計ランキング
• 補助金
• 法律

危険度低

• コラム
• 雑学
• 歴史
• 考察

---

危険度高の場合だけ

掲載する固有名詞は実在確認を行うこと。
不明な場合は掲載しない。

を追加する。

---

今の運用なら、

SFA Publisher に

記事タイプ
□ 自動判定

□ ニュース
□ サイト紹介
□ 商品紹介
□ ランキング
□ 解説
□ コラム

を追加するだけでも精度がかなり変わります。

特に今回みたいな

「○○界隈を紹介」

系は、

AIが一番架空サイトを作りやすいジャンル

なので、

「サイト紹介モード」だけは固有名詞創作禁止ルールを自動追加する

のが効果的だと思います。これはモデルが GPT-4o、GPT-5-mini、将来のモデルに変わっても有効な対策です。

質問：今回の事象はモデルの進化で起きたことではないとなぜ言えるの？

回答：「絶対にそうだ」とは言えません。

ただし、今回のケースを見る限り、

モデル進化が主因である証拠より、プロンプト起因である証拠の方が強い

というのが正確な表現です。

理由を整理すると、

① 生成されたサイト名の特徴

今回出てきたのは

• ハンドメイドLab
• ○○研究所
• ○○ナビ

のような名前でした。

これはAIが苦手な

「実在サイトを紹介しろ」

ではなく

「こういうサイトがありそう」

をやった時によく出るパターンです。

もしモデル劣化やモデル変更が原因なら、

• 実在サイト名の取り違え
• URLの間違い
• 企業名の誤認

が増える傾向があります。

今回は

サイト自体を創作している

ので性質が少し違います。

---

② テーマ文だけで発生するか？

試しに同じモデルへ

ハンドメイド界隈のいまを徹底調査！
趣味から副業までを網羅したサイトを紹介する。

だけを渡すと、

実在サイトだけでなく、

「そういうメディアがある」という方向へ寄りやすいです。

つまり

モデル変更がなくても再現できる可能性が高い。

---

③ モデル進化が影響する部分はある

一方で、

モデル進化が全く関係ないとも言えません。

最近のモデルは

• 文章の自然さ
• ストーリー性
• 読みやすさ

を重視する傾向があります。

すると

サイト紹介記事を書いて

と言われた時、

古いモデルよりも

「読者にわかりやすい構成を作ろう」

として固有名詞を補完するケースがあります。

その意味では

モデルの振る舞いの変化が誘発要因

になっている可能性はあります。

---

④ 本当に確認する方法

これは実は簡単です。

Pinpointに残っている過去記事から

• GPT-4o時代
• GPT-5-mini時代
• 現在モデル

を比較します。

例えば

• サイト紹介記事100件
• 商品紹介記事100件
• ランキング記事100件

を見て、

架空固有名詞率を比較します。

そこで

モデル	架空サイト率
GPT-4o	1%
GPT-5-mini	8%
現在	15%

ならモデル要因が強い。

逆に

モデル	架空サイト率
GPT-4o	10%
GPT-5-mini	9%
現在	11%

ならテーマ・プロンプト要因が強い。

---

今回の情報だけから言うと、

私は

• モデル進化のみが原因：20%
• プロンプトのみが原因：40%
• 両方の複合要因：40%

くらいの確率だと思います。

なので「モデル進化ではない」と断定はできませんが、

「ハンドメイド界隈を紹介するサイトを紹介」という指示は、どの世代のモデルでも架空サイトを生みやすい危険な指示だったとは言えます。実際にどちらの影響が大きいかは、Pinpointに蓄積されている過去記事をカテゴリ別・モデル別に比較するとかなり見えてくるはずです。

質問：「界隈」が想像する意味で使われる可能性が高いのか！？

回答：かなり可能性があります。

「界隈」という言葉は人間には自然ですが、AIにとっては結構あいまいです。

例えば、

人間の認識

ハンドメイド界隈

↓

• 作家
• minne
• Creema
• Instagram
• イベント
• レジン
• 編み物

みたいな「コミュニティ全体」を指します。

---

でもAIは

界隈を調査して紹介するサイト

を

解釈A

ハンドメイド界隈で使われている実在サービス

とも解釈できるし、

解釈B

ハンドメイド界隈を解説している専門サイト

とも解釈できます。

---

今回は補助情報が

趣味から副業までを網羅したサイトを紹介する

だったので、

AIは

ハンドメイド界隈を紹介しているサイト

という方向に寄った可能性があります。

すると

• ハンドメイドLab
• クラフト研究所
• 手作りナビ

みたいな、

「ありそうな専門メディア」

を作り始めます。

---

実は危険なのは「界隈」だけじゃありません。

危険ワード

• 界隈
• 最新動向
• 徹底調査
• まとめサイト
• 情報サイト
• 専門サイト
• おすすめサイト

この辺は、

AIが

実在サイト

ではなく

そういうサイトが存在するはず

と推論しやすいです。

---

逆に安全なのは、

ハンドメイド作品を販売している実在サービスを紹介

現在利用できる実在Webサービスを紹介

公式サイトが存在するサービスのみ紹介

です。

---

今回の補助情報を比較すると、

危険

ハンドメイド界隈のいまを徹底調査！
趣味から副業までを網羅したサイトを紹介する。

↓

「界隈を紹介するサイト」が生まれやすい。

---

安全

ハンドメイド界隈で実際に利用されている
販売サービス・SNS・学習サービスを紹介する。
実在するサービスのみ掲載する。

↓

minne、Creema、BASE、Instagramなどへ誘導されやすい。

---

今回の事例からすると、「界隈」が悪いというより、

「界隈」＋「サイトを紹介する」

の組み合わせが危険だった可能性が高いですね。

もしPinpointの自動投稿で再発防止するなら、

「サイト」「サービス」「企業」「人物」を紹介する記事では、
掲載対象は実在確認できる固有名詞のみ使用すること。

を共通ルールに入れておくと、かなり防げると思います。

Amazonで探す