コサイン類似度とは？AIにおける重要性を3つの実例で理解する

# 1. 内積を計算
A_dot_B = (4 * 3) + (2 * 3) = 12 + 6 = 18

# 2. 各ベクトルの長さを計算
length_A = sqrt(4² + 2²) = sqrt(16 + 4) = sqrt(20) ≈ 4.47
length_B = sqrt(3² + 3²) = sqrt(9 + 9) = sqrt(18) ≈ 4.24

# 3. コサイン類似度を計算
cosine_similarity = 18 / (4.47 * 4.24) ≈ 18 / 18.95 ≈ 0.95

import numpy as np

def cosine_similarity_basic(vector_a, vector_b):
    """
    基本的なコサイン類似度の実装
    """
    # 内積を計算
    dot_product = np.dot(vector_a, vector_b)
    
    # 各ベクトルのノルム（長さ）を計算
    norm_a = np.linalg.norm(vector_a)
    norm_b = np.linalg.norm(vector_b)
    
    # コサイン類似度を計算
    cosine_sim = dot_product / (norm_a * norm_b)
    
    return cosine_sim

# 実際に使ってみよう
user_a = np.array([4, 2, 1])  # [アクション, 恋愛, コメディ]
user_b = np.array([3, 3, 2])
user_c = np.array([1, 4, 3])

print(f"ユーザーAとB: {cosine_similarity_basic(user_a, user_b):.3f}")
print(f"ユーザーAとC: {cosine_similarity_basic(user_a, user_c):.3f}")
print(f"ユーザーBとC: {cosine_similarity_basic(user_b, user_c):.3f}")

# 実行結果：
# ユーザーAとB: 0.959
# ユーザーAとC: 0.775
# ユーザーBとC: 0.955

from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

# 複数のユーザーデータを行列として準備
user_matrix = np.array([
    [4, 2, 1, 0, 3],  # ユーザーA
    [3, 3, 2, 1, 2],  # ユーザーB  
    [1, 4, 3, 2, 1],  # ユーザーC
    [5, 1, 0, 0, 4],  # ユーザーD
    [2, 3, 4, 3, 2]   # ユーザーE
])

# 全ユーザー間の類似度を一度に計算
similarity_matrix = cosine_similarity(user_matrix)

print("全ユーザー間類似度行列:")
print(similarity_matrix.round(3))

# 特定のユーザー間の類似度を取得
print(f"\nユーザーAとBの類似度: {similarity_matrix[0][1]:.3f}")

# 最も類似したユーザーを見つける
def find_most_similar_user(target_user_index, similarity_matrix):
    user_similarities = similarity_matrix[target_user_index]
    # 自分自身（類似度1.0）を除く
    user_similarities[target_user_index] = -1
    most_similar_index = np.argmax(user_similarities)
    return most_similar_index, user_similarities[most_similar_index]

target_user = 0  # ユーザーA
similar_user, similarity_score = find_most_similar_user(target_user, similarity_matrix)
print(f"ユーザーA(0)に最も似ているのは: ユーザー{similar_user} (類似度: {similarity_score:.3f})")

import pandas as pd
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity
from sklearn.feature_extraction.text import TfidfVectorizer

# サンプルの映画レビューデータ
movie_reviews = {
    'Movie_A': [
        "素晴らしいアクション映画でした。爆発シーンが印象的。",
        "迫力満点のアクション。主人公がかっこいい。",
        "つまらないアクション映画。ストーリーが薄い。"
    ],
    'Movie_B': [
        "感動的な恋愛映画。涙が止まりませんでした。",
        "美しい恋愛ストーリー。俳優の演技が素晴らしい。",
        "ありきたりな恋愛もの。特に印象に残らない。"
    ],
    'Movie_C': [
        "面白いアクション映画。特殊効果が見事。",
        "ハラハラするアクション。手に汗握る展開。",
        "期待していたより普通のアクション映画。"
    ]
}

# 各映画のレビューを結合
movie_texts = {}
for movie, reviews in movie_reviews.items():
    movie_texts[movie] = ' '.join(reviews)

# TF-IDFベクトル化
vectorizer = TfidfVectorizer(
    max_features=100,  # 特徴量数を制限
    stop_words=None,   # 日本語では別途処理が必要
    ngram_range=(1, 2) # 1-gramと2-gramを使用
)

# テキストをベクトル化
texts = list(movie_texts.values())
movie_vectors = vectorizer.fit_transform(texts)

# コサイン類似度を計算
movie_similarity = cosine_similarity(movie_vectors)

# 結果を表示
movie_names = list(movie_texts.keys())
similarity_df = pd.DataFrame(
    movie_similarity, 
    index=movie_names, 
    columns=movie_names
)

print("映画間の類似度:")
print(similarity_df.round(3))

# 最も類似した映画ペアを見つける
max_similarity = 0
most_similar_pair = None

for i in range(len(movie_names)):
    for j in range(i+1, len(movie_names)):
        similarity = movie_similarity[i][j]
        if similarity > max_similarity:
            max_similarity = similarity
            most_similar_pair = (movie_names[i], movie_names[j])

print(f"\n最も類似した映画: {most_similar_pair[0]} と {most_similar_pair[1]}")
print(f"類似度: {max_similarity:.3f}")

# 特徴的な単語を確認
feature_names = vectorizer.get_feature_names_out()
print(f"\n抽出された特徴語（一部）: {feature_names[:10]}")

# 使い分けの実例
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity, euclidean_distances
from scipy.spatial.distance import jaccard

# サンプルデータ
user_a = np.array([5, 4, 0, 0, 3])  # 控えめな評価
user_b = np.array([10, 8, 0, 0, 6]) # 高めの評価（同じ傾向）
user_c = np.array([3, 3, 5, 4, 2])  # 異なる傾向

print("=== 類似度指標の比較 ===")

# コサイン類似度
cos_ab = cosine_similarity([user_a], [user_b])[0][0]
cos_ac = cosine_similarity([user_a], [user_c])[0][0]
print(f"コサイン類似度 - A vs B: {cos_ab:.3f}, A vs C: {cos_ac:.3f}")

# ユークリッド距離（類似度に変換するため逆数を取る）
euc_ab = 1 / (1 + euclidean_distances([user_a], [user_b])[0][0])
euc_ac = 1 / (1 + euclidean_distances([user_a], [user_c])[0][0])
print(f"ユークリッド類似度 - A vs B: {euc_ab:.3f}, A vs C: {euc_ac:.3f}")

# バイナリ化してジャカード係数
binary_a = (user_a > 0).astype(int)
binary_b = (user_b > 0).astype(int)
binary_c = (user_c > 0).astype(int)

jac_ab = 1 - jaccard(binary_a, binary_b)
jac_ac = 1 - jaccard(binary_a, binary_c)
print(f"ジャカード係数 - A vs B: {jac_ab:.3f}, A vs C: {jac_ac:.3f}")

print("\n=== 解釈 ===")
print("- コサイン類似度: AとBの傾向は同じ（高い類似度）")
print("- ユークリッド距離: AとBは値の差が大きい（低い類似度）")
print("- ジャカード係数: AとBは同じアイテムを評価（高い類似度）")

# RAGシステムの簡易実装例
import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

class SimpleRAGSystem:
    def __init__(self):
        self.vectorizer = TfidfVectorizer(max_features=1000)
        self.document_vectors = None
        self.documents = []
    
    def add_documents(self, documents):
        """文書をベクトル化してインデックスに追加"""
        self.documents = documents
        self.document_vectors = self.vectorizer.fit_transform(documents)
        print(f"{len(documents)}件の文書をインデックス化しました")
    
    def search(self, query, top_k=3):
        """質問に最も関連する文書を検索"""
        # 質問をベクトル化
        query_vector = self.vectorizer.transform([query])
        
        # コサイン類似度を計算
        similarities = cosine_similarity(query_vector, self.document_vectors)[0]
        
        # 類似度順にソート
        top_indices = similarities.argsort()[-top_k:][::-1]
        
        results = []
        for idx in top_indices:
            results.append({
                'document': self.documents[idx],
                'similarity': similarities[idx],
                'index': idx
            })
        
        return results

# 使用例
documents = [
    "機械学習は人工知能の一分野です。データからパターンを学習します。",
    "深層学習はニューラルネットワークを使った機械学習手法です。",
    "自然言語処理はテキストデータを扱うAI技術です。",
    "コンピュータビジョンは画像や動画を解析する技術です。",
    "レコメンドシステムはユーザーの好みを予測して商品を推薦します。"
]

rag_system = SimpleRAGSystem()
rag_system.add_documents(documents)

# 質問に対する検索
query = "テキスト分析について教えて"
results = rag_system.search(query)

print(f"\n質問: {query}")
print("検索結果:")
for i, result in enumerate(results, 1):
    print(f"{i}. (類似度: {result['similarity']:.3f}) {result['document']}")