Петър Караиванов е син на Васил Караиванов. Бащата на Васил Караиванов – Генчо Караиванов и майката на Левски – Гина Караиванова са брат и сестра. Васил Караиванов е първи братовчед на Васил Левски и касиер на Карловския революционен комитет. След смъртта на баща му той поема управлението на известния за времето си Караиванов хан, разположен срещу къщата на Левски. Там са се провеждали заседанията на местния революционен комитет. При подготовката за Априлското въстание, за среща с Васил Караиванов, в хана са отсядали Георги Бенковски, Тодор Каблешков и Панайот Волов. След освобождението от турско робство Васил Караиванов е избран за кмет на гр. Карлово. Той е и първият демократично избран кмет в България.