伊豆に戦慄が走った。
下田陥落の報は伊豆の諸候を震撼させた。最も驚いたのは狩野氏であったろう。
「そうかやはり茶々丸は下田に逃れていたのか。…伊勢か。ついに伊豆を制覇しおった。逆らう訳にもゆかぬがどこまで従えるものか。」
こんな情報もあった。昨今異常気象のため不作が続き遠州では飢饉だという。そこへ伊勢の侵攻が重なり難民が多数発生し餓死者、疫病による死者が数えきれぬほどでているという。
彼は食料調達に腐心していた。当然占領した土地や従わせた勢力から農産物を徴収するであろう。
また、こういう面もある。政情不安定、飢饉の状況下にあっては武将としては却って兵を集めやすいのだ。より強大な部隊に属していれば、食うには困らないだろうと誰もが思う。農村としては労働力が戦役時には割かれるので口減らし効果以上に打撃であるが、有力なる偉い殿様のために戦うのが村の名誉だという価値観も醸成されていた。勝ち戦の度に村にも恩恵がもたらされるからそれを祈り、若者を部隊に喜んで（本心はつらいだろうが）出していた。従って、飢えている遠州方面からも伊勢は徴兵した。遠隔地の兵なら地元ではないので伊豆制覇の際には敵に対して同情なく容赦せず戦闘を敢行してくれるだろうという計算もある。
狩野氏の親類筋の伊東や川津は既に伊勢に従っていた。彼等は河口周囲の平地で比較的よく採れる農産物や海産物を何とか伊勢に献上できるであろう。しかし、狩野の地では農業といっても高がしれている。むしろ食料輸入地域である。伊勢はどれだけ要求してくることだろうか。
1495年秋、伊勢は米五百石あるいはそれに相当する食料の献上を狩野に求めてきた。これは明らかに経済的圧力である。遠州や沼津の飢餓救済の為だという。しかしそれは土台無理であった。狩野は書状にてできるだけ丁重に断わった。この年はどこも不作であった。
狩野も苦心はしたのだ。狩野の荘には製材や船造りの名工が多くいたので労働力や材木の提供という形での「納税」を提案したが断わられたのだ。韮山の城の建設にも材木やら石材やら大工が必要であるはずだが、軍事上の機密ということであろうか、狩野勢は参入できなかった。
ところが権力というものはいつの時代でも横暴なところがあるものだ。自らの失策をカバーするために普く補填を要求する、というより強制する。考えようによっては助けあいということでそれ自体は合目的ともいえるのだが、失策に対する責任の所在を明確にしない。古今東西どこでも「おかみ」の失態は増税や徴役（「懲」ではなく刑罰以外の）というかたちで庶民の負担増にて穴埋めさせられるものと決まっている。
この間、伊勢は小田原を攻めたり、甲斐を攻めたりでいよいよ登り調子であった。他方、兵糧の確保、武器の確保、財源の確保が伊勢にとってもますます焦眉の急となっていた。しかし関東の既存勢力の抵抗は激しく苦戦をしいられることもあり、こういうときは伊勢も気が荒くなっていた。
狩野の態度に伊勢は不満だった。といってもこれは予定通りの計略であるが、何と伊勢は次に修善寺城（今の城山）の明渡を要求してきた。
修善寺城は狩野の出城であった。伊勢からみれば、あの見晴らしのよい山の上から四六時中韮山の平野全域が監視されているかと思うとはなはだ不愉快なのである。誇り高き伊勢新九郎の本拠地が他人から丸見えなんて、それも見下ろされているなんてまずプライドが許さない。まさに「眼の上のタンコブ」である。
それに対し狩野は「城だけは何としても譲れぬ。先祖に対して申し訳ができぬ。」と断わった。武将にとって城は命をかけて守るべきものである。取り引きの対象ではない。伊勢とてそれは承知の上。つまり一種の戦線布告とも受け取れよう。一気に険悪な雲行きとなった。
狩野は兵二百を修善寺城に守備隊として駐屯させた。石弓、石飛礫、櫓などの防備を整えた。
これに対し伊勢は狩野荘への食物や鉄材、武器の輸送を禁じた。熊坂付近の狩野川には監視の兵を置いた。また、人々の往来も禁じた。無断で川を下ってくるものは射殺した。
翌1496年には伊勢は大見（現中伊豆）の佐藤氏や梅原氏に大見城、柏窪（久保）城の建設を急ぐよう命じている。つまり逆に狩野の本屋敷のある日向の喉もとに切っ先を突き当てるかのように二方向からはさむように軍事施設を建てたのである。これは挑発というか、実質的な東西の交通路遮断であり、作戦は開始されたといえる。次に伊勢は密かに下田に駐留していた軍の一部を北上させ川津、土肥、戸田などを抑え、天城、達磨などの山中には特殊部隊（忍者）を隠した。ここに狩野荘包囲網が完成したのである。
狩野荘ではその年の秋も冷夏の為不作であった。領民は飢え初め苛立ってきていた。狩野はこれに対しよい手が打てないでいた。頼みの伊東、川津とは交通が遮断されてしまっている。横瀬や熊坂、柏久保へ下りて行く民も出始め、小競り合いも起きていた。そこらには闇市がたっていたのだ。狩野は努めて平静を保つよう兵にも民にも布令を出した。
10月のある日修善寺城を守っていた兵の一部がこっそりと郷に降りてきて食料を奪った。修善寺城への兵糧の補給も不十分となり兵も苦しくなってきていたのだ。それを伊勢方の警備兵が見咎めた。ここに衝突が起きた。双方に死傷者が出た。報せを受けた伊勢はここぞとばかりに修善寺城に葛城山方面から兵三百を進めた。たちまち戦慣れしている伊勢軍は城を攻略した。狩野軍はしばらく実戦経験を欠いており、飢えてもいた。守備隊の隊長は城に火を放ち自害した。
この時の伊勢軍の指揮官は韮山の高橋氏である。大将の高橋将監は雲見の出身であるが、下田平定の際伊勢に協力し功績を挙げたため韮山にも領地が与えられていた。高橋部隊は勢いがよく、そのまま尾根伝いに南下し一部は日向の屋敷近くまで攻め込み、一部は柿木の本丸まで迫った。狩野荘内はパニックとなり防戦におおわらわであった。高が三百程の部隊を相手に狩野陣は深手を負った。しかし、必死に抵抗し勇敢に城を守った。さすがに高橋部隊はそれ以上は無理とみて狩野陣の様子を充分把握した上で凱旋した。
同年12月には伊勢は高橋に
「勲功においては望みのごとくにあるべし。」
と褒美を与えている。伊勢はこのように地理に明るい地元出身者の部隊を組織し実戦に活用し、手柄には報奨を与え士気を鼓舞した。こうすると地元の民も協力的になるのだった。経済的に厳しい世にあっては人々は何か強い確かなものによりどころを求めようとするものである。この社会的集団心理が英雄あるいは権力者、カリスマを育む。
一方狩野陣営は陣容の立て直しに必死であった。日向の屋敷は場所が敵に近く狙われ易いため、本陣を柿木に移した。
さて、韮山の高橋に戦功を先取りされた大見の佐藤や梅原、上村らは気がはやっていた。彼等も一旗挙げたいと思っていた。ここに競争意識が働いたのである。
これに対し狩野にとっては横瀬を塞いでいる柏久保の大見勢が脅威となっていた。狩野はこうなったらいつまでも守勢ばかりではいられない。一矢報いるべし。突破口を見い出したいと考えた。修善寺城を奪われた今、このままではいずれじり貧である。
1497年４月狩野軍は船で狩野川を下り、熊坂下の河原に集結した。気勢を挙げ、柏久保城を攻撃したのだ。柏久保（柏窪）ではこの動きを事前からみており準備していた。ここに合戦が始まった。